Min 17månaders slår mig i ansiktet - vad göra?

Mitt 23 mån gamla barn slåss också, men bara mig och ingen annan. Han är normalt väldigt kärleksfull men kan plötsligt slå till eller nypa. Ibland lyssnar han när jag säger - Nej man får aldrig göra någon illa! Du får vara arg! ect men ibland blir han hel vild och skattar menads han fortsätter slåss :( Jag blir så ledsen...käns som om det är just jag som gör fel, det är ju enbart mig han slår?