Varför får man inte säga ordet "neger"?

Jag säger fortfarande negerboll när jag är med folk jag känner. Det har så länge jag kan minnas alltid varit ett någorlunda accepterat uttryck, det verkar mest som det är på senaste tiden som folk verkar ta illa upp av det, och det verkar mest som att det är vita människor som tycker att  "usch, så får man inte säga!"...?