Terminar la colaboración con el arquitecto

Hola a todos,

tengo una pregunta. Hemos llegado a un arquitecto a través de un conocido, pero no estamos realmente satisfechos con el desarrollo y el trabajo. Por eso queremos separarnos del arquitecto, después de darnos cuenta de que realmente no nos entendemos.

No hay ningún contrato que hayamos firmado. Cuando le pregunté en la primera conversación sobre los costes, dijo que facturaría según la tarifa mínima de la HOAI y que primero haría un boceto. Cuando pregunté qué pasaría si no nos pusiéramos de acuerdo, dijo que no nos preocupáramos y que eso no ocurriría.
Ahora ha sucedido eso y mi pregunta es cuál es la mejor forma de proceder y qué puede exigir el arquitecto por su trabajo.

Lo que se ha hecho hasta ahora. En la primera conversación dijimos que queríamos una casa de 160 m² y que el coste máximo total debía ser de 260.000 €. Pregunté expresamente si eso era realizable y dijo que lo conseguiríamos.
Tras la presentación del primer boceto, el coste era de 320.000 €. Dije que aunque era un bonito diseño, los costes no encajaban y que teníamos que reducirlos. Reflexionamos sobre el boceto y le dimos al arquitecto los cambios, ya que se había olvidado de una habitación. Por supuesto, le pedimos que redujera los costes. Nuestros cambios se implementaron, pero en la cita no había un nuevo presupuesto. Sin embargo, nuestro arquitecto dijo que seguiríamos en 320.000 €. En el primer cálculo de costes no había tenido en cuenta las persianas ni la calefacción suelo radiante. Sobre el presupuesto mencionado de 260.000 € de la primera cita, de repente dijo que esa cifra la había visto sin su honorario de arquitecto, pero yo había dicho expresamente que la suma incluía su tarifa.
Bueno, pedimos un plano alternativo para la siguiente cita, ya que el plano anterior era una casa tipo SplitLevel porque tenemos un terreno en pendiente. Él nos presentó ese plano alternativo (creo que era algún plano existente que tenía guardado), pero sin desglose de costes; dijo que tampoco sería más barato que el primer boceto.
Así que seguimos dando vueltas sin avanzar realmente para reducir los costes.
Ahora hicimos más cambios al primer plano. El arquitecto finalmente redujo algo el volumen y nos quedamos en una suma de 300.000 €. En su escrito se menciona orgullosamente que hemos alcanzado nuestro presupuesto si descontamos la mano de obra propia planificada de la suma total. Debo decir que después del segundo boceto aumentamos el presupuesto máximo a 280.000 €.
Pero ahora no nos gusta el plano debido a todos los recortes (acceso al cuarto de servicio a través del baño de invitados) y de alguna manera la confianza ya no está (provocada por numerosas advertencias sobre el presupuesto, dibujo de una chimenea de mampostería - hasta hoy no considerada - etc., etc.)
El hecho es que hasta hoy no se ha alcanzado nuestro presupuesto y tampoco lo alcanzaremos sin hacerlo cada vez más pequeño. Eso tiene poco que ver con nuestros 160 m² y el presupuesto de 260.000 € - 280.000 €.

Ahora mi pregunta es cómo terminar mejor este malentendido y qué puede exigir el arquitecto de nosotros. No quiero que lo haya hecho gratis, pero tampoco quiero que venga con una factura exagerada. Honestamente, tampoco sé en qué fase estamos. La fase 1 de determinación de las bases la hicimos más o menos y cuál es la diferencia entre la fase 2 y la 3. En mi opinión estamos en la fase 2 - planificación previa + presupuesto. Hasta ahora hemos recibido impresiones a color con vistas exteriores + a veces su estimación de costes, pero ¿eso ya es planificación de diseño?

Agradezco vuestra ayuda sobre cómo proceder mejor.