Mettre fin à la collaboration avec l'architecte

Bonjour à tous,

j'ai une question. Nous sommes passés par une connaissance pour contacter un architecte, mais nous ne sommes pas vraiment satisfaits du déroulement et du travail. Nous souhaitons donc nous séparer de l'architecte, car nous nous rendons compte que nous ne sommes pas vraiment sur la même longueur d'onde.

Il n'y a pas de contrat que nous ayons signé. Lors de la première rencontre, quand je lui ai demandé les coûts, il a dit qu'il facturerait au minimum selon le HOAI et qu'il ferait d'abord une esquisse. Quand j'ai demandé ce qui se passerait si nous ne tombions pas d'accord, il a dit de ne pas nous inquiéter, que cela ne se produirait pas.
Mais c'est ce qui s'est passé, et maintenant la question est de savoir comment procéder au mieux et ce que l'architecte peut réclamer pour son travail ?

Ce qui a été fait jusqu'à présent. Lors du premier entretien, nous avons dit que nous voulions une maison de 160 m² et que le coût maximal tout compris devait être de 260 000 €. J'ai expressément demandé si cela était réalisable, et il a répondu que oui.
Après la présentation de la première esquisse, le coût s'élevait à 320 000 €. J'ai dit que c'était une jolie esquisse, mais que le coût ne correspondait pas et qu'il fallait réduire les coûts. Nous avons réfléchi à l'esquisse et proposé des modifications à l'architecte, car il avait oublié une pièce. Bien sûr, nous lui avons demandé de réduire les coûts. Nos modifications ont été mises en œuvre, mais lors du rendez-vous, il n'y avait pas de nouvelle estimation des coûts. L'architecte a néanmoins dit que nous en étions toujours à 320 000 €. Il n'avait pas pris en compte les volets et le chauffage au sol dans le premier calcul. Concernant le budget de 260 000 € évoqué au premier rendez-vous, il a soudainement dit qu'il avait vu ce montant sans ses honoraires, alors que j'avais expressément dit qu'il s'agissait du montant incluant ses honoraires.
Bon, nous avons demandé un plan alternatif pour le rendez-vous suivant, car le plan actuel était une maison SplitLevel à cause du terrain en pente. Il nous a présenté ce plan alternatif (je pense que c'était un plan existant tiré de ses dossiers), mais sans estimation des coûts ; il a dit que cela ne serait pas moins cher que le premier plan.
Ainsi, nous tournons en rond et rien ne se passe vraiment pour réduire les coûts.
Nous avons de nouveau proposé des modifications sur le premier plan. L'architecte a finalement réduit un peu le volume et nous arrivons maintenant à une somme de 300 000 €. Il mentionne fièrement dans sa lettre que nous avons atteint notre budget si nous déduisons nos prestations personnelles du montant total des travaux. Je dois dire qu'après la deuxième esquisse, nous avons augmenté le budget à un maximum de 280 000 €.
Cependant, le plan ne nous plaît plus à cause de toutes les réductions (accès à la buanderie par les toilettes invités) et la confiance n'est plus vraiment là (à cause des innombrables rappels du budget, du dessin d'une cheminée maçonnée qui n'a toujours pas été pris en compte, etc.).
Le fait est que jusqu'à présent, notre budget n'a pas été respecté et ne sera plus respecté sans encore réduire la taille. Cela n'a plus grand-chose à voir avec nos 160 m² et notre budget de 260 000 € - 280 000 €.

Ma question est donc comment mettre fin au mieux à ce malentendu et ce que l'architecte peut nous réclamer. Il ne devrait pas avoir travaillé gratuitement, mais je ne veux pas non plus qu'il présente une facture excessive. Honnêtement, je ne sais pas non plus dans quelle phase nous en sommes. La phase 1 – définition des bases – a été faite à moitié, et quelle est la différence entre la phase 2 et 3 ? À mon avis, nous sommes en phase 2 – esquisse + estimation des coûts. Nous avons jusqu'à présent reçu des impressions en couleur avec des vues extérieures et parfois son estimation des coûts, mais est-ce déjà la planification ?

Je vous remercie pour votre aide afin de savoir comment procéder au mieux.