Distansförhållande, abort, kluvenhet, ledsen.. Behöver lite stöd

Hej
Det här lär bli långt..
Jag har ett nytt förhållande sedan några månader tillbaka. 
Separerade med mina barns pappa i september -14 av olika skäl, vi hade då varit tillsammans i 8 år.

Jag har som sagt träffat en ny man som också har barn och har varit gift sedan många år tillbaka, det blev slut mellan dem i vintras och de flyttade isär då. Han träffade mig ganska tätt inpå separationen, vet inte om det kan ha betydelse för allt jag kommer berätta nu.
Kemin mellan honom och mig har legat på topp sedan dag 1, liknande värderingar och tankar om livet, vi är lugna både han och jag, kan prata om i stort sett allt. Vet inte om jag någonsin känt liknande med en person som jag gör med honom. 
Vi bor en dryg timme från varandra, han har sina barn varannan vecka och jag har mina i stort sett på heltid förutom varannan helg då de är hos sin pappa, så vi träffas oftast de helgerna då vi båda är barnfria. Jag har träffat hans barn ett par gånger och han mina. 
Både han och jag tycker att allt skett så snabbt mellan oss så vi har beslutat att ta det lugnt och fortsätta att bara "dejta" även om vi båda känner alltmer allvar. Jag råkade bli oplanerat gravid och vi bestämde gemensamt att göra abort med tanke på våra livssituationer och våra barn. Jag gjorde tidig medicinsk abort som resulterade i att jag höll på att förblöda hemma men hann in till sjukhuset i tid där de fick skrapa det sista samt ge mig blod. Han var mitt stöd genom hela processen och vi har pratat mycket om att flytta ihop, jag har en tidsplan på kanske 1,5-2 år medan han hoppas på att det ska ta max 1 år för mig att flytta till honom. Han vill/kan inte flytta pga han har gård. Jag är ganska flexibel men har sagt till honom att jag behöver tid för att vänja barnen vid ev flytt samt allt annat praktiskt som jag behöver lösa, jag har hus t e x, man vet ju att en flytt kan ta tid.  Det jag inte förstår med honom, och jag har pratat med honom om det, är att han drar ut på tiden när det gäller att låta våra gemensamma barn träffas, han tvekar även när det gäller att låta mig träffa hans vänner. Jag vet att han skäms lite inför sina vänner att han träffade mig så tätt inpå separationen med sitt ex, men det sårar mig och gör mig förvirrad att han har bråttom att få mig att flytta ihop med honom men så fort jag nämner att våra barn kanske kunde träffas lite spontant nu i sommar, eller frågar när jag ska få äran att träffa hans vänner, då blir han tyst. Och jag blir så osäker när han gör så. Jag sa till honom senast idag att jag blir osäker på vad han egentligen vill och att jag ibland får känslan att han kanske tvivlar på oss? Och om han gör det så vill jag verkligen att han säger det, men han säger hela tiden att han bara vill ta det lugnt. Det vill ju jag också? Hela händelsen kring aborten har också fått mig lite ur spel både rent känslomässigt men även fysiskt då det höll på att gå snett. Jag vet att han var orolig för mig hela tiden men han har inte nämnt det en enda gång nu efteråt. Jag känner mig rådvill och lite vilsen i allt det här. Jag vill ju veta om jag kan/ska satsa på det här. Borde jag ge upp detta eller vågar jag ge allt jag har för att få det att fungera? 
Någon som varit i liknande sits? Hur har ni gjort? Hur hade ni andra gjort?
Tacksam för svar!