Han låter mig inte prata med vår son

Detta kan bli lite luddigt men vill ha lite råd. 
Sen i höstas beslutade jag och min föredetta att vi ska gemensam vårdnad samt varannan vecka boende för våran son.
Sonen är 3,5 år gammal.
Pappan har tidigare haft kontaktförbud gentemot mig för misshandel men allt lades ner och efter ett år försvann kontaktförbudet.
Han nekade och polisen trodde på allt vad han sa.
Nu är det så att denna vecka har pappan sonen, och jag har haft som rutin att ringa var eller varannan eftermiddag och prata med sonen i telefon för att fråga hur det var på dagis osv. 
Just för att upprätthålla en rutin.
Nu har pappan blockat mitt nummer (eller stängt av telefonen) just för som han själv sagt att han anser jag stör... 
Då vi pratat i telefon jag och sonens pappa sitter han framför våran son och berättar att jag är sjuk i huvudet och att jag borde dö osv osv.
Sonen och jag har även skyddad identitet ännu trots att allt lagts ner.
Nu påstår pappan att han lyckats fått över sonens adress till sig.
Men jag ringde skatteverket och ja det finns inget tecken på att det skett.
Han ljuger.
Jag sitter på bevis nu efter inspelade samtal där han erkänner misshandeln.
Men vet inte om jag har ork att gå till polis igen och kanske känna mig förnedrad som en lögnare... 

Vad ska jag göra? 
Är det dags att kanske ta detta hela vägen upp till tingsrätten trots allt? 
Jag hade hoppats på att det inte skulle behöva krävas, men detta blir bara värre och värre. 

Då jag har sonen ringer ALDRIG pappan. 
Han smsar inte och frågar hur sonen mår och trots att jag en kväll skickade ett sms om att sonen hade hög feber får jag inte ett enda svar. 
Sonen upprepar själv ca 5 gånger per dag under en vecka att "jag vill inte åka till pappa" , och han försöker hela tiden få en bekräftelse av mig där att han inte ska behöva åka dit.
Men jag har ju ingen rätt att hålla honom kvar heller... 

Hjälp mig. Snälla!