Jag blir så oerhört störd av "man" istället för "jag"...

När det pratas om någon ospecifik individ eller människor i allmänhet, inte "jag", "du" eller han som sitter vid border där borta, så är det fullt acceptabelt att säga "man". Ingenting som skrivs i mer formell text men t.ex. här, på familjeliv, så får du nog komma över din irritation.