Måste umgänget ske i mitt hem?

Jag har en son på ett par månader. Pappan och jag bor inte ihop men väldigt nära. Det har inte fungerat jättebra mellan oss nån gång och förra året var pappan fysisk mot mig vid tre tillfällen. Jag har ändå försökt att hålla relationen på ett vänskapligt plan för sonens skull. Nu har jag konfronterat honom med att ljuga, inte om saker sin rör sonen men det gör ändå att jag känner att jag inte kan lita på honom i andra ärenden heller. När jag konfronterade honom så började han skicka massa elaka sms, det pågick hela dagen igår. Det var att han önskar att han inte fanns, att jag förstört hans liv. Att jag är ett psyko. Att jag kommer driva honom in i självmord. Att jag kommer göra så att han super ner sig, ballar ut så han hamnar i fängelse, att jag får ta sonen själv för han vill inte träffa oss mer. Att det är mitt fel att hans familj har krav på honom. Det bara haglade. Jag blir stressad av allt det här och jag orkar inte ha honom i mitt hem mer. Vi var på familjerätten för information för drygt två veckor sen men då var allt bra och vi tog egentligen bara information om framtiden. Nu funderar jag på att ringa igen, jag orkar inte med det här längre och jag har ständigt ont i magen för att han ska komma. Måste jag ge honom umgänge i mitt hem? Jag anser inte att jag har ensamrätt på sonen, det är inte det som det handlar om. Men jag orkar inte ha det så här. Råd någon?