Jag är rädd att min man inte bryr sig om min son på riktigt

Du överdriver. Gör inte ett problem av detta genom att ta upp det. Han verkar vara en fin far till barnen.