Vad har jag för rättigheter?

Separerad med ett barn. Dottern träffar sin pappa varje söndag. Pappan vill inte träffa henne mer i dagsläget och hon vill inte heller åka dit mer. Så vi är alla överens om detta. 
Detta betyder ju dock att jag har henne på heltid. Jag kommer inte från orten jag bor på och har då självklart funderingar på att flytta till min hemstad.
Jag har enskild vårdnad om dottern.

Han vill naturligtvis inte att jag flyttar även om jag säger att han får träffa dottern varje månad. I och för sig förståeligt och jag har backat pga detta.

DOCK har det nu framkommit av gemensamma bekanta att han söker jobb både i andra städer långt härifrån men även utomlands!!! Han vet inte om det blir inom närmaste tiden eller inom ett par år som han kommer flytta. Detta har han inte sagt till mig utan bara att det var så hemskt av mig att ta dottern ifrån honom.
Dottern kommer naturligtvis inte följa med honom dit han flyttar och det vet jag att han inte har planer på heller eftersom hon går i skolan här och han vill att hon ska vara mestadels hos mig.

HUR GÖR JAG NU???
Jag tycker att detta ger mig mer än rätt att flytta till in hemstad med dottern eftersom han ändå planerar att flytta härifrån och flyttar han dessutom långt härifrån så kommer han inte ens kunna träffa henne varje månad om jag förstår det hela rätt, det jag erbjudit om jag flyttar till min hemstad.

Hur bör man tänka i detta?? Jag vill helst flytta till min hemstad inom ett halvår ifall jag ska flytta pga skola och boende. 
Hur skulle ni gjort och vad bör man göra?