Min sambos barn

Min sambo har tre barn sen tidigare med tre olika kvinnor och nu har vi varit ihop i tre år och har två av hans barn varannan helg och den tredje har jag inte träffat.
Nu vill ena av hans ex att deras son ska flytta till oss på heltid och jag vet inte hur jag ska göra. Om jag ska fortsätta förhållandet eller inte. Jag älskar honom men känns som om det inte finns något oss utan han och alla hans ex. Jag vill själv ha en familj men han har redan tre familjer. Har någon nåt råd vad jag kan göra?