结束与建筑师的合作

大家好，

我有个问题。我们通过一个熟人找到了建筑师，但对整个过程和工作并不满意。因此，在意识到我们实际上意见不合后，想要和这个建筑师解除合作。

我们没有签任何合同。第一次谈话时我提到费用，他说会按HOAI的最低标准收费，并且会先做一个设计方案。我问如果我们意见不合怎么办，他说不用担心，这种情况不会发生。
现在情况确实发生了，问题是该如何最好地处理，以及建筑师能为他的工作要求多少钱？

到目前为止做了什么。第一次谈话时我们说希望建一栋160平方米的房子，全部费用最多260,000欧元。我特别问这是否可行，他说可以实现。
第一个设计方案出来后，价格是320,000欧元。我说虽然方案不错，但费用不合适，需要降低成本。我们对方案进行了考虑，并向建筑师提出了修改意见，因为他忘了一个房间。当然，我们也让他减低成本。修改落实了，但会议时没有新的费用估算。建筑师说费用仍在320,000欧元。他第一次算费用时没有考虑百叶窗和地暖。对于第一次谈话时提及的260,000欧元预算，他突然说那不包括他的建筑师费用，但我明确说过那包括他的报酬。
后来我们要求下次会议提供一个替代平面图，因为之前的设计是一个分层房子，虽然我们有山地地块。建筑师展示了这个替代方案（我觉得是他抽屉里某个现成图纸），但没有费用明细，他说费用不会比第一个方案便宜。
所以我们一直原地打转，没什么进展来降低费用。
随后我们又对第一个平面图做了修改。建筑师终于缩小了体量，我们来了个300,000欧元的报价。他在信中骄傲地说，如果我们把计划中的自助劳动从总价里扣除，就达到了预算。我得说，在第二个方案后我们把预算提高到了最多280,000欧元。
不过现在平面图我们不满意了，因为各种删减（比如家务间只能从客卫进），而且信任关系也逐渐消失（因为多次强调预算、画了一个砌体壁炉但至今未算入费用等等）。
事实是，直到现在都没达到我们的预算，而且要想达到预算只能不断缩小房子，这和我们期望的160平方米和260,000欧元-280,000欧元预算没什么关系了。

现在我的问题是，如何最好地解决这个误会，以及建筑师能向我们要求什么费用。他不应该白做，但我也不希望他开个天价账单。老实说我都不清楚我们处在哪个工作阶段。我们半做了第一阶段基础调查，不知道第二和第三阶段有什么区别。我觉得我们在第二阶段——初步设计和费用估算。到目前为止，我们看到的只是带外观的彩色表达图，有时还有费用估算，但这算设计方案吗？

感谢大家的帮助，告诉我该如何最好操作。