Som sagt, kontakta familjerätten i din kommun och sköt kommunikationen genom dem.
Och som nämnt, så har varken du eller pappan några rättigheter, bara skyldigheter. Som föräldrar är ni skyldiga att tillgodose barnets behov av en nära och god kontakt med båda föräldrarna.
Det är bra att veta att ensam vårdnad inte alls betyder att han inte får träffa henne. Det betyder bara att du har ansvaret över barnets personliga förhållanden och omvårdnad, såsom välja skola, fixa pass, skriva under papper osv, med hänsyn till den andra förälders synpunkter om det är möjligt.
Det du antagligen menar är att du inte vill att han ska ha umgänge med barnet och det kommer du inte att få igenom om han själv inte avsäger sig umgänge eller är extremt olämplig som förälder. Om han menar allvar med det här och det inte bara är en övergående nyck så är det bästa du kan göra (och som du faktiskt är skyldig att göra) att uppmuntra och underlätta kontakt och umgänge mellan barnet & den andra föräldern. Om du sätter dig på tvären och vägrar samarbete så kommer det ligga dig till last.
Men, du behöver inte alls vara orolig över att han ska kunna kräva att hon kommer och bor hos honom. Han har lika mycket skyldigheter som du och han har själv åsidosatt sina skyldigheter. Innan mer än korta umgängen ens ska vara aktuellt så ska de bygga en stabil relation och med hänsyn till avstånd och alla år han varit frånvarande så kommer det ta många år samt att lagen ska utgå från barns bästa och det är inte barns bästa att ryckas upp från sin hemmiljö och trygghet bara för att en frånvarande förälder helt plötsligt kommer på att de ska ta ansvar. Men som sagt, umgänge är en helt annan sak och förhoppningsvis bra för barnet om det sker på ett bra sätt.
Men innan ni kommit så långt som till umgänge så föreslår jag att du kontaktar familjerätten och förklarar situationen. Ni kommer behöva hjälp att komma överens kring detta och pappan behöver i alla lägen komma ner på jorden och få förklarat vad han kan ha för förväntningar kring detta då hans idé om att barnet ska flytta dit är fullständigt orimlig i dagsläget. Jag vill också säga att ta det lugnt och få inte panik, ditt barn kommer inte tvingas flytta från dig. Och det är inte ens säkert att han kommer vilja ha barnet efter att ni pratat med familjerätten. Tyvärr är det inte ovanligt i sådana här situationer att det är en impulsgrej från den frånvarandes sida, de får en idé och tror att det bara är att komma och ställa krav, sen när de får motkrav på sig så skiter de i alltihopa.