Barn vill inte vara ensam med pappa

Hej, 
barnens pappa och jag lever inte ihop längre. Barnen (4,5 och 3 år) och pappan har ingen anknytning till varandra då pappan ofta varit frånvarande pga jobb och haft en passiv roll i hemmet när han väl varit hemma. Han har haft ett aggressivt beteende både mot barnen och mig. Han tappar tålamodet lätt och är en bekväm man med fokus på sitt och sitt jobb. Han har skrikit på dem och höjer rösten mot dem fortfarande då och då. Barnen bor på heltid hos mig men vi alla träffar pappan 2-3 gånger/vecka.
De vill inte vara själva med honom och har påtalat det ofta. De säger att de inte tycker om honom för att han bara skäller på dem.
Pappan anser att "de ju får lov att anpassa sig" och ser inga fel i att tvinga dem att vara hos honom, även övernatta. Han har gjort ett försök med att umgås själv med dem sedan vi flyttade isär och det varade 3 timmar men han hade hoppats på övernattning redan då. Äldsta barnet vägrade sova där så jag hämtade dem när pappan ringde.
Kan han verkligen tvinga dem? Är rädd för att det bara blir värre nästa gång men han anser inte att deras umgänge måste trappas upp.. tacksam för råd hur man bemöter detta?