Min sons pappa skiter i honom

Har en liten pojk på 13 månader där hans pappa skiter i honom helt,flyttade i från honom när sonen föddes pga olika orsaker,men har ändå försökt kämpa för vårt förhållande men även främst för sonen.

Men har nu tröttnat helt och brutit med hans pappa. 
Han har under detta år träffat sonen väldigt sporadiskt,men sedan jag bröt knappt ingenting. 
Dyker upp i bland ger honom en kram och går sedan,nästa stund träffar på honom ute och visar då inte att han ens känner oss.
Detta gör mig väldigt ledsen och jag undrar hur detta kommer påverka vår son i slutändan. 
Kan ju inte vara bra alls?

Kan tillägga att jag även fått helt ensam vårdnad av sonen för några månader sedan.
Pappa har inget missbruk, men andra problem.