Han förstår inte

Du har ingen skyldighet att svara att du är vaken och kommer han oanmäld är du inte heller skyldig att öppna.
Men tror samtidigt att det är dumt att helt ignorera då han kan få det till att det är umgängessabotage.

Mitt råd är väl att boka ny tid på familjerätten (helst med tanke på att han hotar med dem) för att komma överens om ett hållbart umgängesschema, med fasta tider då han och dottern kan umgås. 
Om han inte vill/medverkar till detta så är det aktuellt underlag inför en eventuell stämning om vårdnaden.
Det blir svårare för honom att hävda att DU inte samarbetar...