Varför kallar man andra för "gumman"???

Säger min sambo exempelvis "men lilla gumman, det ordnar sig.." så tycker jag det är sött och mysigt.

Kompisar och bekanta får inte kalla mig gumman, då är det något helt annat.
Sen kan det sägas på många olika sätt...! Positiv och negativ klang.