säga upp mig?

Självklart skall du inte säga upp dig. Låt honom stämma dig i så fall. Det kommer kosta honom massor, och när det väl kommer upp till tingsrätten är det för länge sedan färdigt med ditt sommarvikariat. Det finns inte en chans att en tingsrätt tycker du borde sagt upp dig istället.
Skriv ett tydligt mail där du visar att du är villig att samarbeta. Beskriv de alternativ (5 st) som finns, och att du gärna tar samtal via familjerätten. Detta är bra bevis att ha om det nu skulle gå till tingsrätten senare.

I övrigt undrar jag dels varför pappan absolut vill följa avtalet nu. Varför funkar inget annat för honom?
Jag undrar också varför det absolut inte fungerar med just den bytesdagen för dig. Jobbar du kväll? Natt? Finns det ingen att anlita som barnvakt några timmar? Förskola?