VAB med umgängesavtal

Jag och sonens andra förälder har via Familjerätten ett avtal som reglerar mitt umgänge.
Enligt avtal ska jag ha umgänge varannan helg, från fredag kl 14.00 till måndag kl 12.00.

Detta avtal är ganska nytt, men vi har varit separerade sedan 2011.
Det är den andre föräldern som insisterat på att vi skulle ha ett umgängesavtal.
Jag har varit tillmötesgående med ALLT och gått med på nästan allt som den andre föräldern velat just för att lägga det här bakom oss och få lite lugn nu.
Men hur mycket jag än gör och ställer upp verkar den andra aldrig bli nöjd.

I fredags (kl 10.00) ringde sonens dagis till den andre föräldern för att meddela att sonen hade feber.
Det var "min helg" men enligt avtal börjar ju min helg kl 14.00.
Den andra föräldern blev då skitsur när jag inte kunde hämta vid 10.00 utan först vid 14.00.

Efter att jag hänvisat till avtalet fick jag dessa sms:

"Du vill alltså inte vabba något alls? Du vill slippa alla jobbiga grejer och bara ha honom när han är ledig då? Det är det du menar?"

Samt:

"annars får jag väll ringa vår kontakt på familjerätten och se om vi kan komma överens om ett nytt avtal om du nu inte vill ta något ansvar för xxxx (sonen). Men du vill styra över xxxx och mitt liv!
Du ska inte vara så jävla kaxig, avtalet går att säga upp närsomhelst!
Ska vi komma överens muntligt eller genom familjerätten?"

Ska jag gå den andre föräldern till mötes ännu en gång, och då bryta mot avtalet (som ju är helt okej om båda är med på det såklart), eller stå på mig nu bara för att visa att vad och hur jag än gör så blir den andre föräldern aldrig nöjd ändå?

För ett avtal är ju ett avtal och vad jag förstått går det inte att bryta bara sådär utan måste då gå genom domstol?