Han velar i relationen

Har han problem med bipolaritet eller så?  - "när han är lycklig är han bara lycklig, men när livet är tungt så tänker han att allt är fel, relationen, jobbet"

Jag tycker du har beskrivit en klassisk velpelle. Han kommer aldrig klart kunna säga: "Ja, idag vet jag! Jag vill gifta mig och jag vill att vi börjar skaffa barn nu" . 
Antingen "tvingar" du honom att ta nästa steg genom att ställa ultimatum eller så blir det nog tyvärr så att du ger upp och lämnar till slut. 
Jag tror också att han lurar sig själv. Han säger att han vill satsa på dig/ert liv tillsammans men "ska bara ha lite ro först" - NÄR ska detta inträffa menar han? Livet pågår hela tiden, det kommer alltid finnas saker han menar måste bli färdiga först osv. Han kommer nog inse det men för sent, när du gjort slut. 

Klart folk kan bli "arga" av ultimatum - grejen är ju att man vill framkalla känslor, ett beslut! 
Han blir upprörd för att han förstår vad du säger, och han vet vad han sagt/lovat tidigare och då blir han pressad när han känner dina förväntningar. Problemet är att han inte vill agera som en vuxen person och ta ansvar för sitt eget liv. Han vill fortsätta att vara passiv och hoppas att du ska sluta tjata ungefär. 

Du står vid ett vägskäl, det är helt tydligt - du behöver agera.