Fritidsaktiviteter vid varannan helg umgänge

Undrar om någon här vet eller kan hjälpa mig att bena ut hur jag ska göra i denna situation.
Mitt barn är hos sin pappa varannan helg,om det passar honom i princip.
Nu har min son börjat skolan och på aktiviteter.
Pappan har valt att flytta i från min son´s hemstad,45min bort.
Min son har gått på samma förskola med samma kompisar som nu följs åt upp i skolan och de har tillsammans börjat på aktivitet som faller på helgen.

Min son vill inget hellre än gå på aktiviteten men pappan ställer inte upp på sin umgängeshelg.
Jag har valt att arbeta när pappan har vårt barn för att så sett få mer fritid tillsammans med barnet när han är hos mig i veckorna då jag har oregelbundna arbetstider.

Men ska vårt barn inte kunna gå på aktiviteter pga hans pappa flyttat?
de flesta sporter har matcher och annat lagt på helgerna.

Jag får ont i magen och klarar inte av att knäcka barnet genom att säga att det inte kommer bli något för att pappan inte kan ställa upp på att lämna på aktiviteten och vara där i de 45min det varar.
Jag har fått lösa det med andra närstående nu de två veckor det pågått,men jag kan inte binda upp andra människor på vårt barns aktivitet när det är hans umgängestid?

Har han "rätt" att strunta i aktiviteten?
Och om vi vänder oss till familjerätt och verkligen får umgänge fastställt då han gärna försöker slippa undan på sina helger-hur fungerar det då?
Kan man fastställa så jag går med barnet på min tid och han på sin umgeängestid?
Det är inte jag som vill gå på aktivitet utan barnet .