邻居未经最终协调，竖起了高180厘米的围栏

他还计划建一个花园小屋。不过如果我看看边界建筑的话，那个花园棚会触发间距要求，法律上必须距离地界至少3米(?)，因为他已经有15米的边界建筑了，对吧？我大致画了一下，比例不太对。

几乎正确。那个9米长的车库已经完全沿着面向街道的边界建造了。他还能在另一条边界上再建6米。花园小屋因此必须远离街道，但仍可以立在你们那条边界上。

基本上我不介意那个工具棚，因为它既不在窗户旁，也从露台看不到。我考虑和他做个互惠交易，我不介意他的花园小屋，他也不介意我直接在边界放一个带塔的攀爬架。或者这样做会有什么不利之处吗？

问题在于，
1. 不只是你一个人需要同意，而是所有与边界有建筑物相邻的邻居都必须同意。
2. 据我所知，这些邻居必须接受他们的间距区域被转移到他们自己一边。
所以，最好不要这样做。