Juridikproblem med grannen och tomt

Jag och min partner och våra två barn byggde ett hus som blev klart i höstas och som vi trivs bra i. Ett problem med grannen har uppkommit nu i sommar.

Det är så att innan vi byggde så fanns det inget hus på tomten. Under denna tid utnyttjade grannen tomten som sin extraträdgård (utan tillstånd) och planterade mycket buskar (mest vinbär).

Nu när bären börjat mogna har barnen börjat plocka på buskarna på vår tomt. Då hade grannen kommit ut fly förbannad och sagt till dem att det är hans buskar och att de inte får plocka.

Tycker det hela känns oerhört konstigt. Vad säger lagen? Har han ens någon som helst rätt till buskarna? 

Orkar inte konfrontera honom innan jag har full koll på det juridiska läget.