Fler barn eller inte

Hej!
Snälla hjälp mig med ett svar om ni har eller vart jag kan vända mig.
Jag och min sambo har det jättebra ihop inga direkta bråk osv. Vi tycker samma i det mesta förutom en sak, kanske den största :( Han har två barn sedanb tidigare på 8år och 5 år, jag har en dotter på 1,5 år) Han är inte biologisk pappa till min men har varit med sen jag var i 7 mån. Jag har haft ett tidigare förhållande där vi kämpade för att kunna få barn, har gått igenom IVF utanresultat och allt.
Vårat problem är att jag absolut vill ha ett barn till om det skulle gå, men han vill absolut inte ha ett barn till. Denna fråga tynger mig jättemycket jag kan gråta när jag tänker på det. Vi har sagt att vi måste ta ett beslut hur vi ska ha det, men jag kan inte säga att visst vi fortsätter och jag inte ska få fler barn, men jag kan inte heller säga att vi ska flytta isär eftersom allt är ju perfekt utom den störstsa frågan.
Snälla hur ska jag göra jag går sönder