Vill lämna, men måste då ordning på mitt liv först

Träffade min make för snart 7 år sedan. Vi hade båda barn sen tidigare. Jag var just då sjukskriven (utbränd) Sedan dess har vi startat eget tillsammans, fått en dotter och jag har sen en tid tillbaka inga andra känslor än förakt för den jag är gift med. Han gnäller konstant om att jag inte gör något. (Jag sköter hemmet, både hans och mina barns behov, mat, tvätt, bokföring) Men jag ger inte honom den bekräftelsen han vill ha. (Sex) Konstigt? Vem fan tänder på en halv alkoholiserad mansbebis?
Detta har lett till eviga bråk om att han minsann mår dåligt och känner att han inte duger. Tar han hänsyn till att jag har vissa behov av tid för mig själv? Icke. Då blir han sur och tycker att jag prioriterar bort "vår" tid. 
Är jag ett stort jävla rövhål om jag väntar lite med att lämna tills dess att jag hittat ett jobb jag kan försörja mig själv och barnen på, eller ska jag slänga ut aset och riskera att förlora huset? (Ja, han har varit våldsam också .