"Stängt av..."...hur ska det funka nu?

Min sambo och jag har varit ett par i sex och ett halvt år. Han har svår värk och är sjukskriven. Han har haft flera svåra år nu med stress över utförsäkring, bråk med försäkringskassan mm.
Han har haft det väldigt jobbigt och haft svårt att orka med socialt umgänge.
Det har även tagit uttryck i vår relation. Han har inte alltid orkat umgås, inte velat ha mig nära, velat få ha sin tid och rum för sig själv...
...då har jag hela tiden blivit avvisad, bortknuffad och ibland lämnad ensam, vilket gjort mycket ont men jag har förstått. Han har inte velat "mysa", ligga tillsammans och titta på film, kela lite, röra vid varandra kärleksfullt...
...istället har det varit "antingen-eller":
Antingen har han velat vara ifred - eller varit helt "på", dvs velat ha sex.

Det har fungerat ett tag, att jag varit så glad när han velat ha sex att jag njutit av närheten, men egentligen har jag haft svårare och svårare att tända...
...och nu är det som om jag "stängt av". Eftersom han inte velat vara nära har jag också stängt av den biten av mig för att underlätta livet men då tänder jag inte heller!
Och nu kan han plötsligt komma med "inviter" om att "komma och mysa" och jag kan bara inte trycka på en knapp och slå igång mig, så nu har jag avvisat honom några gånger - och det känns oerhört smärtsamt!

Jag vill ju ha närheten men klarar inte att "slå av och på" från allt till inget...nu är jag "av" och vill inte vara en levande "uppblåsbaraBarbara" som han ska jucka på!
Hur ska jag göra, hur ska det fungera nu?