Vill inte ha umgänge -pappan sur

För att göra en lång historia kort.
Jag och exet är separerat sen 7 år och har två gemensamma barn på 7 och 9 år.
Jag har ensam vårdnad.
Pappan misshandlade mig och detta har fortsatt med ytterligare flickvän(ner) och när barnen varit hos honom har det försigått en hel del bråk mellan honom och hans flickvänner.
Nu var det snart 2,5 månad sedan barnen var hos honom pga att han jobbat långt iväg och nu så vill dom inte åka till honom nästa helg utan hellre vara hemma och "va med kompisar". Dom har inte ens nämnt honom på hela denna tiden. Jag har redan sagt att jag omöjligt kan uppmuntra ett umgänge med honom pga hur han beter/betett sig med misshandel, hot emot mig, ointresse i barnen utöver hans helgumgänge och är inte ett dugg insatt i det ena barnets diagnoser trots att det är något en förälder borde vara men enligt honom så är det inte "lönt" eftersom han bara har helger.
Dessutom så har jag så sent som för ett år sedan fått bekräftat att han fortfarande är spelmissbrukare och dricker så mycket att han inte har någon kontroll på sig själv.

Nu till min undran.
Hur ska jag ställa mig till att barnen inte vill iväg? Jag måste erkänna att jag bara är glad om dom inte vi träffa honom men nu handlar det inte om mig.
När vi smsade om nästa umgängestillfälle och jag skrev att barnen inte säkert ville komma fick jag bara till svar att han hämtar då och då utan att fråga om den tiden ens funkar för oss. Ska han kunna tvinga fram ett umgänge emot barnens vilja? Jag vet redan att han inte kommer att ta detta med umgänge vidare för det har han redan hållit på att hota med i flera år men det är bara tomma hot.