Varför ljuger han?

Jag träffar en kille sedan 3 år tillbaka. Han har två barn sedan en tidigare relation. Den ena bor hos honom på heltid och den andra varannan helg (2 olika mammor) 
Jag har träffat dessa barn många gånger och vi har en god relation, fram tills i somras. Under semester tiden så sa killen att barnet som bor där på heltid är hos sin farmor under semestern.  Sedan dess har jag inte fått träffa något av barnen, när jag föreslår något så är de upptagna. När jag har kommit hem till han på kvällen så sover dem, 
Jag började misstänka att det var något som inte stod rätt till och vet nu att barnet som bor hos min kille på heltid inte varit hos honom sedan i somras. Han döljer detta för mig och jag har försökt tagit upp detta men får till svar "nu vet jag inte vad du pratar om"
De gånger Han har sitt andra barn hemma så tänder Han lampor i bägge barnens rum som att båda sover. Jag har tittat in ibpda rummen och den ena sängen är tom. När inte båda barnen är hemma så säger han TT det andra barnet är hos farmor. Helt plötsligt på helgerna har han börjat åka bort tidigt på morgonen och är borta hela dagen. Frågar jag vart han ska så säger han ibland att han ska till sin mamma och andra gånger att han ska umgås med sitt barn. Hans mamma bor i sammantaget som viochde gånger han faktiskt är där så stannar han på sin höjd där i 3 Tim och åker aldrig dit tidig morgon.
Hur ska jag ta upp detta med honom eller ska jag bara låta det vara.