Vill inte heta "pappa"

Jag har ett problem som kan tänkas kännas värdsligt, men är stort för mig. Har en ny partner som jag planerar att flytta ihop med. Vi har haft ett tryggt, underbart förhållande i tre år, där barnen varit med i bilden länge. Barnen kommer superbra överens med honom, han älskar dem, köper presenter, åker o fiskar, bygger barkbåtar...
Nu har vi bestämt att leva ihop och sonen är "over the moon", då han flyttade ifrån sin Daddy (obs namnet) när han var 2 år. Han får äntligen en fadersfigur hemma.
   Då sonen fick veta att vi ska bo ihop, var första frågan "vad ska vi kalla honom"? Jag svarade att de fick komma överens om detta sinsemellan, varpå sonen genast  säger att han vill kalla min partner för "pappa". Supergulligt, tyckte jag. Och han har ju ingen "pappa", utan bara en "daddy", som bor i utlandet o träffar dem et par ggr per år.
Nu till problematiken. Är jag oresonlig? Sonen kallade mannen min för "pappa" o mannen fick nästan panik. Inte inför sonen, men ändå.
Jag funderar nästan på att bryta upp alltihop. Vill inte han vara den "pappa" min pojke längtar efter att få säga att han har, har han liksom tappat de flesta av sina poäng. Jag vill i första hand ha en till förälder, inte egen lycka.
Ska jag bryta upp med denna underbara man?