Vad har pappan rätt att göra? :( Har jag något att säga till om?

Jag och mina fyra barns pappa skilde oss i september. Han lämnade mig höggravid. I början av September föddes en helt underbar prinsessa. 

Vår relation har väl varit upp och ner sen separationen pga olika omständigheter men sammarbetet kring barnen har alltid fungerat bra. Vi har tillsammans bestämt att vi pratar med varandra i första hand om vi behöver barnvakt eller så..
Men det har mest blivit att jag ställt upp minst en gång varje vecka han har barnen och även tagit någon helg åt honom osv.
Men då jag behövt hjälp har han inte kunnat (annat inplanerat, behöver vila osv enligt honom). Så förra helgen sa jag ifrån. Var irriterad och kände att han nästan utnyttjade mig. Han blev sur och han gick. Tog upp det någon dag senare med honom och förklarade lite lugnare hur jag kände och menade och det förstod han.. Sa han iaf.. 

Bebisen bor hos mig och har gjort sen födseln. Han kommer hit och träffar henne någon timme ett par kvällar i veckan då han inte har barnen. Den vecka han har barnen är jag så snäll så jag åker dit några kvällar i veckan så han får träffa henne.. Har jag någon skyldighet att göra det egentligen?

I alla fall så ville han ha henne över natten nu sön-mån. Vilket är okej för mig. Hon är en trygg bebis och jag tror det skulle gå bra. Är inte ens en km ifrån ifall det skulle vara nåt.. 

Skrev ikväll, då jag inte hört nåt mer från honom och frågade vilken tid han tänkte komma och hämta henne och tyckte det borde ligga i hans intresse att höra av sig och tala om. Då blev han sur igen. 
Jag ska nämligen åka iväg imorn och behövde veta så han inte kommer när jag inte är hemma..

Iaf så skrev han bara "skit i det. Jag tar henne ons-tors varje vecka i stället."

Kan han göra så? Kan han bara ta henne en natt i veckan sådär utan att jag har nåt att säga till om? Ska jag måste anpassa hela mitt liv efter hur han vill ha henne?

Jag är så less på att bråka med han nu så jag vill bara kräkas.. Här har jag tagit henne dygnet runt sen hon föddes. Plus tre barn till varannan vecka. Dem är 4 och två år... 

Hur ska jag kunna leva mitt liv om jag hela tiden måste anpassa det efter honom?