Also ich würde überschlägig so rechnen:
Grundstück 200k
Kaufnebenkosten Grundstück 20k
Keller 75k
Garage 20k
160 qm * 2.750 € (in Bayern noch sehr optimistisch geschätzt) 440k
Baunebenkosten 40k
Puffer 20k
Gesamtsumme 815k
Vielleicht könnt ihr noch Eigenleistungen einbringen -20k
- Eigenkapital 350 k
Finanzierungssume 445k € - das sehe ich als realistisch an.
Inwiefern das mit eurer Einkommenssituation darstellbar ist, können andere besser beurteilen

Ich würde im Zweifel einfach die Garage und den Pool mal streichen bzw. nach hinten schieben - und dann umsetzen, falls noch Geld übrig ist.
Evtl. auch auf 145 qm reduzieren, das sollte zu fünft ganz gut gehen.