4 años después de la construcción, la oficina también exige el impuesto de adquisición de terrenos sobre la casa

No podrás hacer nada al respecto. El punto crucial es el siguiente:

Hemos construido una casa pareada. La otra mitad la construyó el antiguo propietario de todo el terreno, que dividió su terreno y nos vendió la mitad.
Como el vendedor del terreno quería construir una casa pareada, en el contrato de compra del terreno se estableció que nos comprometíamos a construir una casa pareada con un contratista general asignado (que no tiene ninguna relación con el vendedor del terreno).

Ustedes prácticamente adquirieron ambos juntos y el plan existía desde el principio. No podría haber habido un terreno sin la casa pareada, incluso el contratista general ya estaba definido, por lo que adquirieron ambas cosas juntas. Si eso no estuviera en el contrato de compra del terreno, tal vez se podría argumentar en contra, pero así no pueden hacer nada más.
Fue muy parecido en nuestro caso. Firmamos por separado el contrato de construcción y el contrato de compra del terreno, pero en el primer folleto ya se mencionaba todo junto. Por lo tanto, para la oficina de impuestos había una conexión y tuvimos que pagar por todo.

Ahora, por supuesto, se puede culpar otra vez a la oficina de impuestos, pero algo así se sabe de antemano. La información está a solo una búsqueda en Google. Las leyes al respecto ya las han expuesto otros aquí.

Una pregunta al respecto: ¿Has firmado en una escritura notarial para encargar a una empresa una casa, sin haber tenido previamente un contrato/planificación vinculante con ella?

Ni siquiera yo puedo creer eso. ¿Cómo va a creer la oficina de Hacienda que alguien hace algo así?
La empresa constructora podría haberte estafado por completo.

Pero la situación ya está suficientemente explicada: has hecho constar notarialmente que compras un terreno y que con una empresa determinada construyes una vivienda adosada.
Y con ello has cerrado un negocio condicionado.
(Sin asesoramiento legal)

Una pregunta al respecto: ¿Has firmado en una escritura notarial para encargar a una empresa una casa con la que previamente no tuviste ningún contrato/planificación vinculante?

Eso puedo creerlo. El vendedor del medio terreno seguramente recibió un pequeño descuento por imponerle a la otra mitad del dúplex a su propio constructor general. No le duele ;)

Una pregunta al respecto: ¿Has firmado en un contrato notarizado para encargar a una empresa una casa, sin haber tenido un contrato o planificación vinculante con ella de antemano?

Eso ni yo podría creerlo. ¿Cómo puede la oficina de impuestos creer que alguien hace algo así?
La empresa constructora podría haberte estafado por completo.

Eso fue realmente así y se debió a la urgencia, ya que mi vecino quería empezar la construcción pronto.
Mi planificación incluyendo el precio se estableció semanas después de la compra del terreno.
Por eso mi caso es un poco diferente a los otros mencionados.

Sí, el contratista general podría haberme estafado. Pero no lo hizo.

Me parece fuerte que ahora se vea como una operación vinculada y no lo habría esperado.
En ese nivel se podría suponer que cada compra de terreno es una operación vinculada, dado que el constructor generalmente nunca es realmente libre (por el plan de ordenación o la obligación de construir tras x años).

Sí, el constructor general (GU) podría haberse aprovechado de mí. Pero no lo hizo.

¡Tuviste suerte!

Me parece bastante fuerte que ahora se vea esto como un negocio ligado y no lo esperaba.

¿Por qué eso?
En realidad solo querías un terreno y ya tenías que comprar una casa adosada de un GU directamente en el contrato notarial.
Solo porque fuiste tan "inocente" y no fijaste los detalles antes, eso no elimina el hecho.

En ese nivel se podría pensar que cada compra de terreno es un negocio ligado, ya que generalmente el constructor nunca es realmente libre (por el plan urbanístico o la obligación de construir dentro de X años)

Es bastante diferente si un plan urbanístico me impone construir un tejado a dos aguas o si en un contrato dice que tengo que construir con la empresa X. ;)

La pregunta decisiva para el negocio ligado es: ¿Habrías podido construir con otro GU?
Y ya escribiste la respuesta.

Ahora que veo un negocio vinculado, me parece bastante fuerte y no lo habría esperado.
A este nivel, uno podría suponer que toda compra de terreno es un negocio vinculado, ya que el constructor generalmente nunca es realmente libre (por el plan de ordenación o la obligación de construir después de X años)

El plan de ordenación te concede todas las libertades para elegir a tu socio constructor al firmar el contrato de compraventa. La obligación de construir también. Son instrumentos urbanísticos.

Quizás simplemente no has entendido aún lo que es un negocio vinculado. Significa que al firmar el contrato de compra no eres libre de elegir a tu socio constructor. No tiene nada que ver con cómo construyes, cuánto cuesta o cuándo construyes. Simplemente significa que compras el terreno con una edificación realizada por el socio XY. Y así también es la base según la Ley del Impuesto sobre Transmisiones Patrimoniales.
"Si la operación de adquisición se extiende a un edificio aún por construir... el valor del terreno, a diferencia del § 157 párrafo 1 frase 1 de la Ley de Valoración, se determina según las circunstancias reales en el momento de la finalización del edificio."
==> Sí, has comprado un terreno con una casa aún por construir. Así está en tu contrato. Compras el terreno bajo la condición de construir una vivienda adosada con el socio XY.
==> Sí, el impuesto sobre transmisiones patrimoniales se determina entonces por el paquete completo terminado terreno + casa. Pero eso se establece solo al final, como en vuestro caso. Si vendes el terreno antes, entonces al final solo se grava la compraventa del terreno.

¿Podrías haber comprado el terreno también si no quisieras construir con el socio XY? Esa es la única pregunta que importa. No tiene nada que ver con si es fuerte o no.