exact, bijna voor elk bouwsel, zelfs iets wat geen 4.4 meter hoog is, zoals een serre met dak moet er een vergunning worden aangevraagd. {althans in mijn gemeente}

Voor de meeste aanbouwsels hoeft dus juist helemaal geen vergunning meer aangevraagd te worden. 

Maar voor de hoogte die de Ts vermeldt dus wel.

Het gaat niet over een erfscheiding.

Toestemming buren is niet vereist als er tegen de erfgrens wordt aangebouwd.

Bedankt voor de reactie. Er wordt dus op de erfgrens gebouwd en de muur is al circa 2.65 meter hoog.
Dit mag volgens de buren vergunningsvrij.

Er is veel informatie te vinden op het Internet, zoals deze Wet algemene bepalingen omgevingsrecht. Oef, wat een lijst!

@TIJGER1 TS zegt dat zijn buurman het op de efgrens wil plaatsen.
er is idd vrijwel geen toestemming nodig van de buren als dit 10cm van de ergrens af is gebouwd, tenzij er een Raam in komt. dan is het een nader verhaal

@BERND50   Nee dit mag eigenlijk niet De huidige muur is al 2.65 meter hoog. maar de buren willen dit hoger maken, Dus wat uw buren zeggen klopt niet.

vrijwel in elke gemeente moet je voor bijna alles een vergunning aanvragen. ze mogen niet zomaar ineens zonder toestemming hun huis vergroten.

Het beste wat u zelf kan doen is via het omgevingsloket kijken wat wel en wat niet mag. dmv de postcode/adress van uw buren.

Daarnaast verwacht ik ook als ze de muur willen vergroten en verhogen ze toegang moeten hebben tot uw tuin. om zo aan uw kant de muur te verhogen.
U kan deze toegang zonder enigste problemen weigeren. Maak wel genoeg foto's van uw tuin voordat uw buurman gaat verbouwen. als er schade is kunt u dit op uw buurman verhalen.

De buren niet in de tuin laten om de muur te metselen en af te werken is niet slim.
Dan kunnen de buren de muur niet voegen en blijft de TS tegen een lelijke muur aankijken.

@miennaamishaaz, 
Denk je nu werkelijk dat als je een uitbouw laat plaatsen door een bouwbedrijf, dat ze de wettelijke regels niet kennen? Niet weten wanneer er een vergunning aangevraagd moet worden of wanneer een aanbouw vergunningvrij is? 
En gebruik maken van het ladderrecht mag je niet weigeren. 

De informatie op https://www.uitbouw.com/vergunning is niet volledig.

• a.voor zover op een afstand van niet meer dan 4 m van het oorspronkelijk hoofdgebouw, niet hoger dan:

  • 1°.5 m,

  • 2°.0,3 m boven de bovenkant van de scheidingsconstructie met de tweede bouwlaag van het hoofdgebouw, en

  • 3°.het hoofdgebouw,

• Uit wetten.nl - Regeling - Besluit omgevingsrecht - BWBR0027464 (overheid.nl)

Je hebt het steeds over een muur. Het is toch niet een losse muur? 
Als de muur die weggehaald is door de buren een deel van hun huis was, dan mogen ze dat zonder toestemming van jou doen. Die muur is onderdeel van hun huis ook al staat hij op of over de erfgrens.
Daar heb jij niets over te vertellen.
Een nieuwe muur van een nieuwe uitbouw moet wel op eigen terrein staan.
Weet je precies waar de erfgrens loopt? Heeft het kadaster een grensreconstructie gedaan?
Waarom kun je er niet mee leven dat er niet een uitbouw op dezelfde plaats komt? De buren willen dus niet alleen een aanbouw van de kamer, maar ook de slaapkamer aanbouwen? Dat is dan een etage te hoog. Zijn de buren zelf aan het klussen of laten ze het over aan een bouwbedrijf. Als je vindt dat de buren illegaal bezig zijn om zo te bouwen, dan kun je de gemeente vragen een bouwstop op te leggen. Dat krijg je geheid ruzie. Is je dat waard? https://www.helpdeskbouwregels.nl/vraag/376 Na de bouwstop kunnen de buren een vergunning aanvragen. Als zij een vergunning krijgen, kunnnen ze gewoon verder bouwen. Je kun dan wel bezwaar maken, maar met goede argumenten. Dus denk even na voordat je wat gaat doen.

Veel huizen hebben aan de schterzijde een stuk muur als scheiding tussen de tuinen. Als de buren gaan aanbouwen, moet uiteraard dat stuk muur verwijderd worden en komt er een nieuwe muur voor in de plaats. 

Niets bijzonders. 

Waar haalt u dat vandaan?

dit is inderdaad niet waar !