Du darfst in einem §34 Baugebiet alles bauen, was sich einfügt, also ein Haus wie diejenigen in der Nachbarschaft durchaus auch in kleiner, allerdings egal wie selten Du es nutzen willst stets voll die gültige Wärmeschutznorm wie für Ganzjahreshäuser beachtend. Tiny Houses scheiden meist schon aus Designgründen aus.
Ich würde angesichts der Grundstücksgröße überlegen, eine "zweite Ferienwohneinheit" zu bauen, die man ja in den Wochen der eigenen Nutzung unvermietet lassen kann, um dann im Haus alleine zu sein. Also z.B. einen kleinen Bungalow als Grundlage zu nehmen, dem man ein ausgebautes Dachgeschoss mit Außentreppe aufsetzt. Dann kann gleich noch eine Freundesfamilie mit dort urlauben, und zwischendurch finanziert die Ferienappartementvermietung das Haus etwas flotter.
Mir geht es - allerdings ohne Feriengrundstück - ähnlich: in den alten Bundesländern ist die Datschenkultur völlig unbekannt, man wird auf Kleingartenzwergvereinsparzellen verwiesen, und jede Abwehr von Erholungswohnnutzung gilt als Landschaftsschutz.