behöver lite hjälp (långt)

Fixa en träffa på familjerätten och ordna en överrenskommelse kring ett umgängesschema.

Angående nuläget
Sonen är fyra år, han kan vara några timmar hos sin pappa. Att pappan dräller hemma hos dig är ingen bra lösning.
Erbjud dig att köra 50/50. Antingen så hämtar och lämnar du en gång, nästa gång är hans tur osv. Är han oseriös blir det ingen nästa gång.

Eller så hämtar han hos dig  och du sen hemma hos honom på kvällen.

Om han föröker skuldbelägga dig , ignorera

Sen - ta inte upp  med honom var han varit och när

Är du bekymrad för inskolning erbjud fyra tillfällen, t ex varannan lördag 10:00-14:00, då han är välkommen hem till dig för att umgås med sonen. Därfter erbjuder du dig att ta hälften av transporterna till honom.

Vill han inte ställa upp på det så erbjud honom en träff på familjerätten för att fixa ett vittigt schema.

Ge ett vettigt lösning, stå fast vid den och kan han inte accepter eller följda det så har du i alla fall försökt. 

Ett alternativ är att du helt släpper detta. Pappan har gjort sina val och du kommer inte kunna ändra på honom. Lev ett bra liv med din son och ignorera allt pappan säger förutom "Jag har bokat en tid hos familjerätten för att diskutera umgänge".