Pappans orätt till sin dotter!

Behöver råd i en vårdnadstvist. 

Jag lever med min sambo samt mina två barn sedan ett tidigare förhållande, min sambo har även han en dotter sedan tidigare (mamman var gravid när han och jag träffades, så dottern är nu 2 månader +)

Dom har varit till familjerätten och skrivit papper om faderskap, då fixade mamman barnvakt till dottern. Dom har även varit på ett sammarbetssamtal, inte heller då var dottern med. 

Saken är den att mamman hindrar min sambo från att umgås själv med dottern, han får hela tiden åka hem till henne för att umgås med sin dotter, 2 timmar i veckan på hennes villkor.
Hon säger att dottern är för liten för att lämnas bort, men att lämna bort henne när dom skulle till familjerätten var helt okej enligt mamman. 

Under sammarbetssamtalet förklarade min sambo på att han hellre ville att mamman skulle komma med dottern, eller att dom kunde träffas på andra platser än hemma hos henne. (mamman bor tillsammans med hennes mamma, dvs barnets mormor, vilket inte alls funkar bra med min sambo då det är mycket gap och skrik från mormor' s sida när min sambo är där)
Familjerätten hade då sagt åt min sambo att han är egoistisk, att dottern bara har behov utav en förälder, och att han kan börja träffa henne när hon är 2-3 år!

Hur ska man kunna knyta ett band till ett barn som är 2-3år?
Det har aldrig varit prat om växelvis boende, utan enbart umgängesrätten.

Och enligt kärringen på familjerätten har han inte rätt till något umgänge sålänge dottern är så liten, utan att han helt enkelt för vänta. Och att allt ska vara på mammans villkor då hon automatiskt fick ensam vårdnad vid födseln, och vägrar skriva papper om gemensam.

Det är aldrig någon som har hindrat henne från att komma hit med dottern, men situationen är ohållbar för mig och sambon och även de stora barnen eftersom ingen av oss vet hur framtiden kommer att se ut, varken jag eller barnen har träffat dottern.
 

Någon som har erfarenheter som kan ge mig tips på hur vi löser situationen?