Drygt=lite mer eller lite mindre?

Jag hade lite problem med det där ett tag, tyckte att drygt kunde betyda både mindre och mer, det betydde helt enkelt att det inte var riktigt exakt. Nu säger jag drygt om jag menar "lite mer" och knappt om jag menar "lite mindre".