Han hotar att ändra sig

Jag har två barn i åldern 4 och 11 år. 
Sedan ett år tillbaka har jag barnen mest. Huvudorsaken är att deras pappa har ett jobb som gör att han jobbar över hela Sverige. Han kan vara nån vecka till en månad i sin hemstad, för att sedan vara ett halvår i Skåne och bara komma hem på helgerna. Det kan pendla väldigt mycket från vecka till vecka.
'
Nu har jag precis flyttat en timmes väg i från till en ny stad. Pappan skrev på papperna och inget mera med det. och barnen har fått nya skolor allt är klart.

Nu har jag fått höra på omvägar att han minsann ska sätta sig emot min flytt med barnen. Han ska kräva VARJE helg eller varannan vecka när han är i sin hemstad att han ska ha barnen.

-Hon vet inte vad hon har gjort, ska han ha uttalat till våran gemensamma bekant.

Jag har inte ifrågasatt OM han nu har sagt det, för jag vill inte dra igång nått OM det nu är lösa rykten.

Kan pappan helt plötsligt ändra sig så att jag måste flytta tillbaka med barnen?
trots att kan inte vet när eller hur länge han kommer att jobba i sin hemkommun.

Ska tilläggas att när barnen är där, sitter det framför tv spelet Väääääligt mycket. Han hjälper inte till med tandborstning. I bland kommer de hem i samma kläder som när de åkte. Han gör inte heller några läxor med äldsta barnet om inte jag påminner honom.
Det saknas alltid kläder när de har varit där, för han hittar dem inte säger han.
Han har även haft hjälp av godman för sin ekonomi. Han har en adhd diagnos och han dricker när barnen är där, men han blir inte full säger äldsta barnet.

Vad ska jag göra.