Vågar man försöka en gång till innan det är för sent?

Har så svårt att bestämma mig vilken kategori jag ska lägga den här tråden i, men det här blir nog bra...

Lite kortfattat om min situation:
Jag fick för ett halvår sedan reda på att jag har en sjukdom (orkar inte specificera mer än så) som gör att jag är inte är särskilt fertil. Jag har opererat bort en äggstock, men läkaren "sparade en" för att jag skulle ha en chans att få ett barn till. Tanken från början var att ta bort båda två.

Jag har ett barn på 3 år från ett tidigare förhållande. Jag och hans pappa separerade för ett  och ett halvt år sedan då han träffade någon ny och väldigt kort därefter träffade jag min nuvarande sambo.
Jag och mitt barns pappa är mycket goda vänner och har mycket kontakt och umgås, men våra familjer tog väldigt hårt på separationen. Det kanske låter dumt, men i varken hans eller min familj är det okej att skilja sig hur illa det än är ställt.

Det har varit ett tufft år och jag har många gånger velat bryta med min egen familj under året, men inte gjort det för en familj är en familj. Jag vill så gärna ha en god relation med mina föräldrar och att mitt barn ska ha en mormor och morfar. 

Och nu till poängen med tråden!
Jag vill så gärna ha fler barn, men är så orolig över hur alla andra ska reagera. Jag har pratat mycket med min läkare om detta och han säger att ska vi försöka få barn är det nu som gäller. Det ger mig panik...
Min familj skulle få slag om dem fick reda på att jag var gravid, bara 1½ år efter att jag träffat någon (det ska tilläggas att jag är relativt ung med, 24).  
Jag känner mig så pressad från så många håll! Jag vill ha barn, min sambo vill ha barn, hans familj skulle nog bara bli glada, men jag kan inte se en enda familjemedlem/vän från min sida som INTE skulle vända mig ryggen..

Åh, jag vet inte vad jag ska göra...