Om jag vägrar att träffa umgängesföräldern

Jag blev misshandlad av mitt ex för flera år sedan men har efter att han lovade att han är en helt ny människa som inte gör så mer så har jag gått med på att vara den som lämnar över barnen när dom ska träffa honom. Nu har det kommit fram att han fortfarande misshandlara flickvänner, ljuger om en massa saker och håller på med en massa annan skit som är osunt för barnen. Dessutom så sitter hans familj och snackar skit om mig som var offret i vårat förhållande. Det är jag som alltid har tagit hand om allting som rör barnen, han har sagt att jag är en bra mamma och han skrev självmant på papperna om att jag skulle ha ensam vårdnad så förstår inte vad det kan finnas att prata om men strunt samma?

Nu har det iallafall kommit till en punkt då jag inte längre står ut och det kommer upp mer och mer skit om honom och jag som redan förut har haft ont i magen och mått dåligt varje gång jag varit tvungen att träffa honom känner nu att jag aldrig vill träffa honom igen.
Jag vägrar att vara delaktig i överlämnandet av barnen. Om jag lägger över den biten på honom, att han får ringa familjerätten eller vart man nu vänder sig för att få hjäkp med själva överlämnandet kan det dåå drabba mig väldigt negativt? Det är ju inte så att jag vägrar honom att träffa barnen men jag vägrar att träffa honom. Jag känner ingen här som skulle kunna/vilja lämna dom i mitt ställe.
Jag tror inte att han skulle vända sig till polisen och anmäla mig för då kommer jag att kontra med misshandeln samt att det är en osund miljö barnen befinner sig i med skitsnack om deras mamma, att det ständigt bråkas med hans flickvän och att han hellre sitter vid datorn och spelar bort sina pengar än umgås med sina barn de 4 dygnen han träffar dom varje månad. Dom har inte ens ordentliga sängar trots att han i över 1,5 år lovat att köpa bäddmadrasser till de hårda resårbottnarna som dom tvingas att sova på. Barnen klagar ofta på att dom har ont i kroppen när dom har sovit där.