För min del beror det på vem som säger det och i vilket sammanhang.
Nog för att jag är vuxen nu, men om min mamma säger "Men, är du sjuk lilla gumman?" till mig, så vet jag att hon absolut inte menar det på något nedsättande vis. Hon säger det med omtanke. Likadant om min make skulle säga tex "Vad du ser trött ut, gå och lägg dig en stund lilla gumman!" efter en lång dag, så vet jag att han säger det med kärlek.
Det används ju dock i mindre trevliga sammanhang också, just för att vara nedlåtande, i tex diskussioner och då känns det allt annat än okej att bli kallad för det.