Bonusbarn heltid, egna barn varannan vecka

Jag flyttade i somras ihop med min sambo som har två tonårssöner som bor hos oss på heltid. Själv har jag tre döttrar som är 12, 9 och 4 år som bor hos oss varannan vecka. I och med att hans barn är äldre och bor hos oss på heltid så dominerar de mer i hemmet och när mina flickor kommer till oss är de blyga och lite rädda för dem. De pratar inte med mina flickor utan håller sig undan de veckor de är där, så trots att vi bott tillsammans i mer än ett halvår låtsas de mer eller mindre att flickorna inte finns. De verkar se flickornas "besök" som en störning i deras "vanliga" liv.
Detta gör att jag känner att vårt hem inte riktigt är flickornas hem och jag funderar ibland på att vi ska flytta isär för att mina tjejer ska känna att mitt hem faktiskt är deras hem, där de kan och vågar göra vad de vill. Samtidigt känns det sorgligt att jag och min sambo ska behöva ge upp vårt gemensamma liv på grund av detta.

Är det någon annan som har erfarenhet av ett sådant upplägg, där vissa barn bor på heltid och andra på halvtid, och hur har ni så fall hanterat det? Är tacksam för alla råd och tips!