Abri à outils sur une limite non constructible. Puis-je le faire ?

Dans cette réponse de l'administration, je ne lis pas d'interdiction d'utiliser ton wagon de cirque. Cela concerne uniquement la dalle au sol ; tu devrais donc l'enlever.
Un tel wagon de cirque ou similaire est sur des roues et n’est pas relié au sol. Il "repose bien sûr en raison de la gravité sur le terrain", mais tant que tu peux le déplacer sans moyen technique, c’est autorisé, comme l’administration l’écrit.
Un âne par exemple ne serait pas un moyen technique, ni 4 hommes qui tirent la chose, et donc cela serait exempt de permis selon sa lettre officielle.
Comme il t’a donné cela précisément comme motif de refus, tu peux t’y référer exactement. Il ne l’admettra pas, il sera certainement fâché et pourrait t’obliger à démonter la dalle.
Il est cependant clair (selon sa justification) que tu peux installer un wagon similaire tant qu’il peut être déplacé sans moyen technique.
Tu ne peux pas être forcé de le démontrer, mais il est évident que cela serait possible par la force animale ou humaine. À l’étranger, nous avons vu des bœufs tirer de petits camions ou des hommes forts tirer des rouleaux à vapeur.
Si tu as le courage, fais-le, mais sois sûr qu’il sera un mauvais perdant.
Je ne crois pas non plus que l’homme de l’administration était là par hasard...
Réfléchis à lui répondre que tu vas maintenant acquérir un tel wagon, qui répond aux conditions qu’il a exigées, à savoir qu’il peut être déplacé sans moyen technique... et remercie-le pour l’autorisation. Ensuite, procure-toi un tel véhicule et fais-toi confirmer par le vendeur que ce wagon peut être déplacé sans moyen technique. Le texte officiel de l’administration dit bien "peut". Tu peux donc aussi le tirer avec une voiture, il faut juste que ce soit possible sans moyen technique.
Je suis curieux de savoir comment cela va évoluer...

Donc l’interdiction a été faite par e-mail.

Difficile à dire s’il s’agit déjà d’un acte administratif contre lequel on peut agir légalement, d’autant plus que tu parles de plusieurs e-mails. Une consultation juridique serait recommandée.
Selon le contenu et les formulations des e-mails, une dernière mise en demeure avec fixation d’un délai pourrait suffire, dans laquelle tu te réfères à la légalité de ton projet selon l’article 23, alinéa 5, de l’ordonnance sur l’utilisation des sols et tu insistes pour que soient mentionnés les intérêts publics ou des voisins concrets. Selon ta capacité à prendre des risques, tu poursuis ton projet après l’expiration du délai.

Le plan d’aménagement en PDF est en ligne

Je l’ai trouvé, mais en effet aucun indice concernant les annexes. Apparemment, l’administration affiche une prétention royale bavaroise d’autorité. Dans certaines communes, on ne semble pas avoir encore compris que la Bavière fait partie de la République fédérale d’Allemagne et est donc soumise aux lois fédérales et aux ordonnances en découlant. Une décision discrétionnaire ne dépend pas de l’humeur d’un agent administratif, mais requiert une pondération des intérêts publics, des voisins et du maître d’ouvrage. Si les annexes ne sont pas souhaitées en dehors des surfaces constructibles, cela doit être mentionné dans le plan d’aménagement et le processus de pondération doit avoir eu lieu lors de la procédure d’élaboration et trouver sa trace dans les motifs du plan d’aménagement. Si ce n’est pas le cas, comme ici, il faut de très bons arguments pour refuser l’autorisation d’une annexe.

Malin, il en tient de toute façon beaucoup plus.

Peut-être. Peut-être pas non plus, car une piscine est aussi une annexe selon l’article 14 de l’ordonnance sur l’utilisation des sols et la démolition sera probablement beaucoup plus coûteuse que l’enlèvement de la dalle.