Är det dags?

Instämmer med de övriga. Du ska inte leva under sådana förhållande. Det är dags att lämna (och borde gjort det långt tidigare).
Se till att ni får allt när det gäller er dotter svart på vitt, varannan vecka, vilka veckor, överlämning, vad som ska följa med. 
Misstänker att du måste se till att vara detaljerad i det här fallet.
Kolla efter boende, jag vet att du inte behöver vara den som lämnar, men ibland kan det vara det enklaste och det smidigaste att ha ett eget boende klart när du släpper bomben (i en annan typ av relation så hade jag inte skrivit det, men misstänker att det behövs här)