Älskare pratar om andra kvinnor

Jag har en form av relation med en man. Då vi starta detta för ett halvt år sen så diskutera vi helt i början att detta är bara sex och båda hade just blivit lämnade av tidigare respektive. Nå, med tiden har de blivit annat som middag, film, sova tillsammans, hotellnätter och så vidare.. men vi har inte diskuterat nej om det skall ändå bli allvarligt detta. i början kom vi också överens att man får ligga med andra. 
Nu till problemet. Han pratar emellan om att han sett på andra kvinnor och funderat att bjuda hem dem på one night stand, men säger sen att han gjorde inte. Han kan också ibland säga att då han skall nånstans på nåt evenemang att kanske han hittar någon kvinna.
jag märker att detta stör mig, fast det borde ju inte få det med tanke på överenskommelsen vi gjorde i början.
Det jag kanske funderar på är att varför säger han detta åt mig? Jag skulle aldrig säga åt honom om det skulle vara tvärtom, utan hålla det för mig själv.