Kollegan närmar sig men jag vet inte vad jag vill?

Ja som sagt har min manlig kollega börjat närma sig mig med försökt till att starta en ordentlig relation. Han är någon som jag inte skulle kalla en kompis men vi pratar ändå då och då och i våra konversationer är det klart att han vill mig något mer än bara vänskap. 
För lite bakgrund så är min fru sedan 10 år är på en arbetsresa med sin manliga kollega och har ännu inte kommit hem genom era kommentarer har jag förstått att han hon möjligen är otrogen med denna man. Under tiden har jag varit väldigt ensam utan henne och har börjat kräva mänsklig kontakt. Min kollega börjar se allt mer attraktiv ut med tiden och jag undrar om det vore okej att vara med han tills frugan kommer hem om alls?
Så min fråga är varken jag ska börja spendera tid med min kollega utan att kontakta min fru om det, är det okej att jag även får ha kul utan henne när hon hade det bakom min rygg under dessa två veckor?