Pappan bara bråkar

Mitt ex och jag har varit separerade i många år och vi har fram till för en tid sedan haft så att han haft barnen varannanhelg men nu har det av olika anledning blivit så att det nu är var fjärde helg. Detta är något som han förut var helt ok med eftersom han själv valt att inte delta i aktiviteterna som gjort att det blivit mer sällan. Barnen bor hos mig och jag fick ensam vårdnad för omkring ett halvår sedan pga pappans ointresse av att vara delaktig och ta ansvar utan bara vill ha den roliga biten. Vi gick till Fr och skrev på papper, inget konstigt alls. NU så har han börjat att bråka än mer än förut om allt möjligt, skickar arga sms om att jag försöker förstöra umgänget som han ju vet hur det ligger till med men vägrat att delta i då umgänget då hade kunnat bli tätare. Visst jag ska inte hymla med att jag tycker väldigt illa om honom då han misshandlat mig förut och har en dålig livsstil så jag vill innerst inne inte att barnen ska dit men det hör inte hit. Nu har han även börjat att ringa och skälla på mig över umgänget och för att berätta hur knäpp hela hans familj tycker att jag är som låter det gå så långt mellan umgängestillfällena trots att det är han själv som på sätt och vis försvårat det för sig själv. Nu till de egentliga frågorna. Har han rätt att vara arg på mig när han själv inte vill delta vid aktiviteter som hade gjort att han kunnat få mer umgänge genom att avsäga sig vårdnaden för att slippa? Vad ger honom rätten att ringa och skälla ut mig över något som han tidigare godkänt? Bör jag ta åt mig och försöka att ordna oftare umgänge trots att han inte anser att det är lönt att hämta lör och lämna sön eller vad ska jag göra eller bör jag göra någonting öht? Har jag rätt att neka att träffa honom( pga obehag) vid hämtning och lämning och låta bli att svara när han ringer, alltså bara ha nödvändig kontakt via sms? Barnen frågar inte efter att vilja åka till honom oftare än nu och Fr är inte att tänka på då vi inte kommer överens.