Cobertizo de equipo en una frontera no edificable. ¿Puedo hacerlo?

De esta respuesta de la oficina no leo una prohibición del uso de tu carro de circo. Se refiere únicamente a la losa; por lo tanto, deberías retirarla.
Un carro de circo o similar está sobre ruedas y no está unido al suelo. "Aunque descansa por gravedad sobre la propiedad", mientras puedas moverlo sin ayudas técnicas, está permitido, como escribe la oficina.
Un burro, por ejemplo, no sería una ayuda técnica ni tampoco cuatro hombres que tiren del aparato, y por lo tanto sería libre de permiso según su escrito oficial.
Como él te dio exactamente esto como motivo de rechazo, también puedes apoyarte en ello. No lo admitirá y seguramente se enfadará y tal vez te ordene desmontar la losa.
Pero está claro (según su justificación) que puedes colocar un carro similar allí siempre que pueda moverse sin ayudas técnicas.
No pueden obligarte a demostrarlo, pero es evidente que sería posible con fuerza animal o humana. En el extranjero hemos visto bueyes que tiran pequeños camiones o hombres fuertes que arrastran compactadoras de vapor.
Si tienes valor, hazlo, pero ten por seguro que será un mal perdedor.
Tampoco creo que el hombre de la oficina estuviera allí por casualidad...
Piensa si le respondes diciendo que ahora vas a adquirir un carro que cumple los requisitos que él pidió, es decir, que puede moverse sin ayudas técnicas... y le agradeces por la autorización. Luego consigues uno de esos y pides al vendedor que confirme que ese carro puede moverse sin ayudas técnicas. La redacción de la oficina es "puede". Así que puedes arrastrarlo hasta allí con el coche, solo debe existir la posibilidad de hacerlo sin ayudas técnicas.
Tengo curiosidad por ver cómo continúa...

Así que la prohibición se realizó por correo electrónico.

Difícil decir si esto ya constituye un acto administrativo contra el cual se pueda actuar legalmente, sobre todo porque hablas de varios correos electrónicos. Sería recomendable una asesoría legal. Según el contenido y las formulaciones de los correos, podría bastar una última solicitud con un plazo, en la que hagas referencia a la legalidad de tu proyecto según el §23, apartado 5 de la Ordenanza de Uso del Suelo y exijas la mención de los intereses públicos o vecinales concretos. Según tu disposición al riesgo, tras el vencimiento del plazo continúas con tu proyecto.

Plan de desarrollo urbano como PDF está en línea

Lo encontré, pero en efecto no hay indicios sobre instalaciones auxiliares. Al parecer, la autoridad muestra una actitud autoritaria de la época bávara real. En algunos municipios parece que aún no se han dado cuenta de que Baviera pertenece a la República Federal de Alemania y por tanto está sujeta a las leyes federales y a las ordenanzas derivadas de ellas. Una decisión discrecional no depende del capricho de un funcionario, sino que requiere la ponderación de los intereses públicos, vecinales y del propietario. Si no se desean instalaciones auxiliares fuera de las áreas edificables, esto debe estar mencionado en el plan de desarrollo urbano y el proceso de ponderación debe haberse llevado a cabo durante el procedimiento de elaboración y reflejado en la justificación del plan de desarrollo. Si esto no es así, como aquí, se necesitan argumentos muy sólidos para denegar la autorización de una instalación auxiliar.

Listo, cabe mucho más de todas formas.

Quizá. Quizá no, ya que una piscina también es una instalación auxiliar según el §14 de la Ordenanza de Uso del Suelo y la rehabilitación probablemente sea mucho más laboriosa que la eliminación de la losa del suelo.