Hallo Noor,

Ik zou overleggen met je buren hierover. 

Vraag of ze afstand kunnen houden bij de muur zodat je erbij kunt.

Als zij voet bij stuk houden,zou ik juridische hulp inschakelen.

Ik denk niet zonder uw toestemming, https://notarielestichting.nl/wpnr/gebruik-van-een-prive-muur-door-de-buurman/ Fascinerend leesvoer trouwens.

Enkele vragen:

Staat deze muur op de Erf grens of op uw land/grond.
Is het een stenen muur of een Schutting van hout?

Kunt u een schets maken in Paint met hoe de tuin is ingericht, en waar de Buurman de schuur wilt plaatsen. Hierdoor hebben we wat meer inzicht van hoe het bouwwerk van uw buurman eventuele problemen zou veroorzaken

Afhankelijk van de gemeente/locatie waar u woont, Moet de buurman vrijwel zeker Toestemming vragen bij de gemeente om dit bouwwerk te plaatsen.

Vaak zullen ze dan bij de Gemeente ook hem vertellen wat wel en wat niet mag tijdens de aanvraag.
Waaronder de Punten die in de link staan die @HENKDEZEVENDE heeft gepost.

Heeft u al met uw buren over uw zorgen daarover gesproken?
U kunt hier advies vragen: https://www.eigenhuis.nl/wonen/huis-duurzaam-maken/buren/regels-erf-en-erfgrens#/

En/of vraag uw rechtbijstandsverzekering eens of het juridisch loket over ladderrecht en lees eens hier: 
http://www.advocatengoossens.nl/burenrecht/mainburenrecht.htm

Lijkt me stug dat ze dan, als die stevige schuur er staat, die weer moeten afbreken als u bij uw buitenmuur moet komen. Dus overleg eerst voldoende, genoeg, liefst zwart op wit wat u beiden wilt. Anders krijgen we weer een programma of van John Reed of Mr Frank Visser.

Heeft uw buren een omgevingsvergunning verkregen voor de schuur? Bouwverordening gemeente.

De gemeente bemoeit zich niet waar de schuur op het perceel geplaatst gaat worden.
U moet nu actie ondernemen want als de schuur er eenmaal staat zal het moeilijk zijn te eisen dat deze weer afgebroken wordt.

De schuur staat vlak langs de muur van je huis en wordt er niet aangebouwd? Dat mag. Iedereen mag op zijn eigen grond bouwen.
Dat de schuur vlak naast je huis komt te staan is het risico van het bouwen van een huis op of vlak langs de erfgrens. 
Je had op eigen erf genoeg ruimte moeten laten om je huis te onderhouden.
Mocht je in de toekomst bij de zijkant van het huis moeten vanwege lekkage oid, en de schuur moet (gedeeltelijk) afgebroken worden, dan zijn de kosten voor jou.
Het is wat anders als de buren de schuur aan je huis vast gaan bouwen. Dat mag niet zonder jouw toestemming.
En de gemeente gaat hier niet over. Het is een zaak tussen jou en de buren,

Maar heeft u dan niet zelf te dicht of op de erfgrens gebouwd. ?  Onze buurman bijv heeft uitbouw op de tussenmuur gebouwd. Dat is nu de buitenmuur van zijn aanbouw. Vind dat geen probleem maar stel ik ga over jaar ook uitbouwen zet ik hem net van die muur af en Jan buurman daar nooit niet meer bij voor herstel mogelijkheden. Dat is echter niet mijn probleem. Aangezien hij ook afstand had moeten bewaren en niet op de erfgrens had moeten bouwen. 
Fijn dat hij er nu bij kan ( vraagt regelmatig toestemming om voegen bij de werken want deze muur vertoont bartsen. ) Maar tegen de tijd dat hier aanbouw komt heeft hij echt pech