Kan ej flytta ihop pga bonusbarn

Jag och min pojkvän har varit ett par i ca 2 år. Vi har båda barn sedan tidigare, hans i åldrarna 9-14 och mina i förskoleålder.
Både han och jag vill gärna flytta ihop, pratar ibland om hur vi båda längtar efter att ha den relationen, att vara en familj tillsammans. Vi tycker mycket om varandras barn och de funkar dessutom bra tillsammans.

Problemet är att vi bor i olika kommuner, tre mil från varandra. Våra respektive ex bor också i samma kommuner som vi vilket innebär att det inte är aktuellt för barnen att byta skola/förskola.
Möjligen kommer hans barn att gå gymnasiet i min kommun eftersom den är större och många ungdomar i hans stad gör det, men det är inte säkert.
Både jag och han jobbar i min kommun och skulle vi flytta ihop så skulle det bli här (både jag och han trivs dessutom bättre i min stad).

Varje diskussion börjar likadant, hur vi drömmer om hus och mysiga barnkvällar tillsammans, men det slutar alltid med att diskussionen låser sig vid att han inte är pigg på att skjutsa sina barn till gamla kommunen varje dag. Och på funderingar om hur man löser det rent praktiskt med aktiviteter efter skolan, kompishäng på pappaveckan, och i värsta fall risken att det inte är så kul att vara hos pappa längre utan att de flyttar hem till sin mamma. 

Jag börjar känna mig lite deppig. Ska jag ställa mig in på särboskap i 10 år till (eller vad det kan ta tills hans barn flyttat hemifrån)? Eller finns det någon lösning här som jag inte ser? Hur har andra gjort i samma situation?