Hjälp! Kommunen vill att vi river vår friggebod

Vi satte upp en 15 kvm stor friggebod på vår tomt i somras. Innan vi startade frågade vi vår enda granne om lov att få sätta upp den 1 m från deras tomtgräns, vilket vi fick skriftligt på att vi fick göra. Långsidan på friggeboden vätter mot deras garagegrund+ garageport som är lika lång.
Vår tomt ser lite annorlunda ut p g a att ca 40 procent av tomten har en mur som är ca 2,5 m hög. På andra sidan av muren ca 2 m upp ligger en väg.
Placeringen av friggeboden känns helt naturlig och ligger brevid grannens garage som är 1m högre än vår friggebod. Anledningen till att vi placerade den där var att det var det ända ställe som vi inte störde grannarna och som vi upplevde var helt naturlig..Kortsidan av friggeboden ligger ca 1-1,5 m från muren och därmed mot "vägen, 2m upp" = kommunalmark
Efter ca 2 mån får vi ett brev från kommunen där någon anmält oss för olovligt uppförande av komplementsbyggnad.
Vi har varit i kontakt med kommunen och förklarat läget men de ger inte med sig en tum. De vill att vi river alt flyttar friggeboden. Vi har inget ställe att sätta den på då större delen av tomten dv s ca 40 procent vätter mot kommunalmark(2 m upp). Resterande del av tomten har vi vårt  hus 4,5 m från gränsen alt att vi sätter den för våra grannars enda utsikt......, vilket de inte går med på.
Har någon haft ett liknande ärende där kommunen är din "granne" vid uppförande av friggebod??
Vem ska man kontakta, för handläggaren säger att DE inte har något intresse av att träffas och fortsätta diskutera frågan. Vilken rätt har man att överklaga deras beslut??
Tacksam för hjälp!!