Sambon hellre med sina vänner

Jag och min sambo har varit tillsammans i 3 år, vi har en dotter på 1 och ett halvt ..
Allt har varit jättebra fram till några veckor sen, varken jag eller min sambo har stort umgänge vi har mera varit med varandra och ytters sällan (någon gång i månaden) varit med vänner (inte gemensamma).
Saken är den att han har börjat umgås med några vänner vi umgåtts med gemensamt innan vi fick våran dotter igen. 
Från början tyckte jag det var kul att han kom ut men nu börjar gränsen gå över styr då han är ute jämnt. jag jobbar 12 h natt och han är arbetslös. våran dotter går på dagis 5h dagen.
Denna veckan som varit har jag själv varit väldigt sjuk och ändå har jag fått ta våran dotter för han varit ute oavsett om jag jobbat 12 h natt sover till 14 kommer han hem lämnar våran dotter och sticker iväg och kommer hem strax innan jag måste dra igen..
Dagar jag är ledig kan han vara ute till 3-4 på morgonen med kommentar "måste passa på när jag kan"
Vi gör aldrig något gemensamt längre han lovar saker men så sticker han iväg istället.
Har försökt få honom förstå att jag tycker inte detta är okej, men han lyckas alltid vända på det så det helt plötsligt blir jag som är gnällig..
Har även försökt få följa med till folket han umgås med då det är mina gamla vänner också men det vill han inte..
Känner mig så otillräcklig och ensam.
Hur ska jag få honom förstå att jag kommer inte orka vara i detta förhållande om han aldrig "ser" mig.. 
vet inte hur länge jag står ut att komma sista hand hela tiden