Har han någon chans?

Separerade när barnen var små 4 månader och 2,5 år. Den äldsta bevittnade misshandel och jag och den yngsta blev hotade med diverse tillhyggen och jag hotades till livet
Nu har det gått många år och den yngsta har börjat skolan. Det hittades en kombinationdiagnos för några år sedan och det har krävts åtskilliga möten i både skola och på Bup där vi fortfarande går regelbundet och kommer att behöva göra för mer eller mindre all framtid.
Vi hade ifrån början vårdnad men eftersom han alltid hittade på undanflykter för att slippa delta i saker så fick jag till slut nog och efter lite övertalning så skrev han över vårdnaden på mig och tyck nu att jag ska visa tacksam tacksamhet emot honom. Tacksam för vad, att jag, rektorer, lärare, läkare, psykologer mm ska slippa att ödsla tid på någon som inte ens verkar bry sig!?
Den äldsta har reagerat på att han ALDRIG någonsin frågat hur det går i skolan och dyl.
Nu så har barnen börjat att dra sig för att åka dit och vill hellre vara hemma eller umgås med kompisar utöver att träffa honom. Det har även kommit fram att han misshandlat ytterligare minst en tjej under de tre åren som de var tillsammans och jag är orolig att det ska komma till en punkt då han skadar någon utav dom. Dessutom drar han och farmorn upp en massa gamla saker och frågar ut barnen om saker som inte dom har med att göra och trycker sen på onda punkter så fort chansen ges.
Nu till den egentliga frågan.
Han hotar med Familjerätten och att jag kommer att ångra att jag inte samarbetar (skickar iväg barnen mot deras vilja). Han har ett väldigt egoistisk tänkte och så fort han öppnar munnen så pratar han om hur sjukt det är att inte han får träffa sina barn. Dessutom har han för omkring ett år sedan skrivit till mig att när dom är tillräckligt stora så får dom bestämma själv hur dom vill göra med umgänget.
Vad kan han egentligen åstadkomma om han envisas och drar det vidare? Lyssnas det på barnen och kan jag förlora vårdnaden trots att han aldrig engagerat sig och där finns det ju åtskilliga personer som kan vittna om hans ointresse?
Behöver jag oroa mig över att barnen tvingas mot sin vilja?

Oj vad långt det blev men behöver info.