Ska man skiljas el inte?

Par i 14 år, gifta i 8 år. Hus, tre barn 4,7,13 år gamla.

Vi har en tid haft det ganska dåligt, dåligt sex, inga direkta vänner vi umgås tillsammans med. gör inget varken själva eller med varandra.
I april blir jag väldigt oväntat uppvaktad av en 10 år yngre man. Han ger mig massa komplimanger som jag såklart sög åt mig som en torr disktrasa. (Han bekant till familjen men mest mig, varit barnvakt för ena barnet och vi har setts lite då och då när han kommit på fika osv. )
komplimangerna gjorde mig såklart otroligt nyfiken och det var jättespännande tills min man kom på mig. Då blev det inte lika roligt längre, men ändå kunde jag inte släppa honom. Så vi fortasatte i smyg. Vi sågs en gång och hade sex. Han blev jätterädd och avslöt allt med mig där och då. (jag bröt ihop och berättade allt för min man)
Sommaren gick och jag var tokledsen. Sen upptogs kontakten och vi har nu kontakt på sms och sociala medier. Ses när tillfällen ges men han bor på annan ort så dom är få.

Han har gjort klart för mig att vi inte kommer bilda familj och allt om jag nu går och hoppas på det. Jag är väl medveten om det och jag vill inte ha en relation på det viset med honom, men kan ändå inte glömma.

Jag har sökt lägenhet och vi har väl tillsammans bestämt oss för att gå skilda väga (jag och mannen alltså) mest för att jag inte kan släppa den andra.
Men ändå är jag jätterädd och osäker, tänk om jag ångrar mig.

Kan inte leva i två världar.