blir hans barn utanför om vi skaffar barn?

Hej alla!

Nu får ni gärna komma med lite tips!

Jag och min sambo sedan 1 1/2 år har börjat fundera på att skaffa barn :)
Vi har båda ett barn var sen tidigare förhållande. Mitt barn är 3 och hans barn är 5.

Mitt barn bor hos oss princip hela tiden.
Hans barn bor hos oss varannan helg och ca 2 vardagar i veckan.
Hans barn är inte här lika ofta som vi vill och det beror mest pga våra arbetstider.

Mitt barn "drabbas" ju också utav våra arbetstider, men biopappan är inte så inblandad i hens liv, (eget val).
Så vi får ta hjälp av barnvakt osv.

Men nu till "problemet"
Min sambo sa något i stil med att:

Eftersom ditt barn bor här hela tiden så kommer ju hen verkligen få en lillasyster/lillebror.
Och mitt barn bor ju inte här så ofta, så då kommer det "nya" barnet inte bli som ett syskon. Och jag vill inte att mitt barn ska bli utanför. Så mitt barn kommer känna sig åsidosatt och utbytt.

Och ja, jag har funderat själv kring det här, och de kanske kommer bli så? :/
Jag vet inte riktigt vad jag ska svara min sambo på det..

Och vi har försökt att ha hans barn varannan vecka, men de blir inte så många timmar hos "sin pappa". För det är min sambo som har mest annorlunda tider. Och skulle jag "ta över" och ha hans barn så skulle det i sin tur leda till att mitt barn kommer lämnas ännu tidigare på förskolan och hämtas senare :/ dom går nämligen på förskola på olika delar av staden.. Så jag fixar det inte hela allt själv :( det hade gått bra om båda barnen hade förskolorna närmare men så är det ju inte nu..