Får man inte göra roliga saker med barnet vid vab?

För någon vecka sedan var förskolan stängd en dag. Min man var bortrest då, och jag hade en del möten den dagen så mormor var snäll nog att ställa upp som barnvakt. Mormor är ställer alltid upp, till och med när barn har magsjuka, vilket min systers barn precis haft så mormor åkte också på eländet och kunde därför inte vara barnvakt när förskolan var stängd. Jag ringde FK och frågade om man får vabba då, vilket jag fick.
Eftersom varken jag eller barnet var sjuka så åkte vi till simhallen, och på vägen hem såg en kollega oss. Och nu har det blivit värsta grejen, att jag på nåt vis har fuskat. Jag förstår inte riktigt? Jag fick ju vabba, enligt FK, för att mormor som skulle tagit hand om barnet, blev sjuk. Förklarade detta för min chef som också var helt ok med det. Men det är framför allt två kollegor som inte kan släppa detta.
Gjorde jag ändå fel?