Polyamorös man flörtar med mig

Jag vet inte hur jag ska hantera det här...
Polyamorös man flörtar med mig på jobbet, han är charmig, och det finns en laddad stämning mellan oss. Men han är dessutom gift!
Normalt har jag alltid bett gifta män fara och flyga. Jag är en ärlig människa, hade han aldrig börjat med det här så hade jag aldrig kommit på tanken/känslan mer än att han är en attraktiv kollega men som jag inte skulle få för mig att titta åt just för att han är gift och i mina ögon endast en vän.
Egentligen är jag intresserad av någon helt annan person, men det har tyvärr inte blivit något där.
Hade han varit singel,absolut hade jag gett honom en chans för att lära känna han för han, mannen har en härlig personlighet och fina ögon..
Jag får bara dåligt samvete av att han har en fru och får mig att fundera över,lever hon likadant? De bor i bland på olika platser i landet eller utomlands.
Jag vågar knappt titta på han längre när vi talas vid, har även vänt bort blicken då jag inte vet hur jag ska hantera detta. 
Han tittar gärna på ens kropp när han tror jag ej ser.
Jag har kommit på mig själv i vissa arbetssammanhang bli nervös när han är i närheten och fumlig,har sett hur han då ler. En dag sög han min blick rejält och jag visste inte vart jag skulle ta vägen, det gjorde min dag samtidigt som jag skämdes.
Han vet dock inte att jag känner till att han är polyamorös, vilket han varit i flera år har jag fått veta.
Har någon annan varit med om att en gift person söker ert intresse och som är polly?.
Hur gick det? Hur handlade du, om du alltid levt som monogam?
Vi är dessutom i den åldern då många redan bildat familj men inte vi, det gör att man kanske borde tänka ett steg längre.
Jag har ingen aning om han har känslor gentemot mig eller om det bara handlar om sexuell laddning. 
Jag är även rädd för hur de på jobbet skulle reagera, han är inte diskret med att flörta. Det känns som om deras reaktion skulle vara: Att hon inte ser gränsen,han är ju faktiskt gift! De vet ju inget om hans livsstil.