Hans ex försöker sära på oss

Min mans ex har gjort en anmälan till socialen om att deras gemensamma barn far illa den veckan de är hos oss. Hon har från början lovat att han ska "få för" att han träffar mig och att hon ska ta barnen ifrån honom. En utredning startades utan att utredaren hade pratat med oss, helt grundat på hennes lögner.
Det ena barnet, 10 år, har från början mått dåligt av skilsmässan och haft svårt för att acceptera mig. Hans 6-åring och mina, 4 och 7 år, har däremot trivts bra med situationen och älskat att vara hos oss.
Det som hävdats är att vi under våra 2 år tillsammans har bråkat vid 4-5 tillfällen inför barnen. Detta är givetvis väldigt olyckligt och inget vi är stolta över, och som vi alltid försöker undvika. Bråken har alltid kommit ur att exet har svartmålat oss på olika sätt för barnen och försökt påtala att det är onaturligt och obehagligt att vara hos oss. Barnen verkar nöjda och glada när de är här, förutom de första timmarna efter mammans vecka, då 10 åringen verkar sur och obehaglig till mods, antagligen pga mammans svartmålning under hennes vecka.

Under utredningens gång har utredaren tydligt visat att hon inte bryr sig om något än mammans utsago.

Och nu påstår utredaren att om min man flyttar ifrån mig, så finns det inget problem, att det är vårt förhållande som är osunt för barnen. Nu undrar jag om detta är möjligt?? Ska ett svartsjukt ex ha makten att bestämma över vårt liv grundat på dessa lösa anklagelser? Förra gången hon var besvärlig var när vi skulle gifta oss..Vi väntar vårt första gemensamma barn om ca 1 mån..Någon som har erfarenhet av dylikt?