Hur lämnar jag honom?

Jag är gift med en man sen 5 år tillbaka. Vi kan kalla honom J. Vi har två gemnsamma döttrar, en på 3,5 år och en på 9 månader. Och så har J två pojkar på 8 och 11 år, varav 11-åringen bor hos oss.
Dom 5 åren jag levt med J har varit dom mest händelserika åren i mitt liv. Och då har jag varit med om en hel del innan. Vi har båda en hel del i våra bagage, tuffa barndomar, han; borderline och alkoholmissbruk, jag; ständigt återkommande depressioner.
Vi gifte oss 3 månader efter vi träffats första gången och gravid blev jag ännu tidigare. 6 månader efter vårt bröllop föddes vår dotter.

Nå väl... Jag älskar och bryr mig om min man oerhört mycket, men all skit jag har fått utstå under dessa 5 år har gjort mig helt avtrubbad och bitter. Jag blir förbannad över småsaker, stör mig på det mesta och har tagit avstånd från min man. Mitt dåliga humör går ut över barnen, vilket jag absolut inte vill.

Jag har blivit bedragen 4 gånger, kanske fler. Han har inte legat med någon annan kvinna under vår tid (vad jag vet om), men han har haft andra olika former av kärleksrelationer med kvinnor. Kyssar, långa telefonsamtal, kärleksfulla mail och träffar. 
Han är också alkoholist, men kan hålla upp periodvis. 
Jag och hans 11-åring kommer inte bra överens. Jag gör mitt bästa för att vara en bra "bonusmamma" men jag lyckas inte få pojken att bli nöjd. Enda gångerna man duger är när man köper dyra saker till honom (vilket sällan sker då vår ekonomi är väldigt begränsad).

Jag har sagt att jag vill att vi går isär, men då använde han sin psykiska hälsa som "hot" och sa att om jag lämnar honom, så kommer han hamna på något gruppboende för såna som inte kan ta hand om sig själva. Och det skulle betyda att han inte kommer kunna ta hand om barnen och att det skulle resultera i att barnen skulle börja förakta honom, och att han då sen skulle kunna bli ännu sjukare... 
"Hot" kanske ni undrar? Jo, han vet hur mycket jag bryr mig om andra och är väldigt duktig att spela på mitt samvete. 

Jag är rädd att förstöra hans, våra döttrars och hans pojkars liv. Hur ska jag göra? Jag vet inte hur jag ska våga lämna honom.