Jag vill flytta men inte han

Hej,
har ett sånt dilemma som jag inte vet hur jag ska lösa. För ca. 2 år sen så köpte vi ett hus ute på landet.
Ska tillägga att innan det så har vi flyttat i snitt 1 gån i halvåret. 
Det var för litet och det låg för långt bort men jag propsade på att vi skulle köpa det i alla fall och till slut fick jag min man att gå med på det.
Jag vantrivs och tycker huset är för litet, det är för långt ut men han vägrar flytta. Han säger att jag får flytta själv om jag ska göra det. Stor del på grund av att han trivs men liten del för att han säger att han skulle skämmas för mycket om vi flyttade. Och sen en liten del för att vi har renoverat och fixat hela huset. Nu ska vi göra ordning köket och bygga altan, vilket känns som att kasta pengarna i sjön om vi en dag kommer flytta, men o andra sidan vill jag ju ha det fint och bra omkring mig under tiden.
Och vi skulle inte kunna hitta ett boende som passar båda. Jag vill bo så det är gång och cykel avstånd till samhället och han vägrar ha grannar och lägenhet är helt uteslutet för oss båda.
Hur ska jag lösa det här? Nu när det är sommar så funkar det, då trivs jag hyfsat men så fort snön kommer mår jag jätte dåligt. Alla gånger jag har tagit upp att jag vill flytta eller inte trivs så blir det bråk, han mår jätte dåligt och får ångest och det hela slutar alltid med att jag ber om ursäkt och säger att jag kan bo kvar.
Men frågan är om jag kommer kunna leva med mig själv om det här fortsätter.
Allt det här gör att jag blir splittrad och mår jätte dåligt. Vi vill ha ett syskon till vår son men jag blir inte gravid och mycket av det beror säkert på att jag inte mår bra.