Halte es schriftlich als Mangel fest und zeig es bei deiner Baufirma an (wenn du nicht so schnell nen SV bekommst, der das für dich übernimmt). Das Holz zu tauschen dürfte doch kein Problem sein, warte mal ab was der SV und die Baufirma sagen.
Ob du etwas vom Betrag zurückhalten kannst kommt auf deine Verträge drauf an. Der Rohbau ist ja geschlossen, es geht nur um nen Tausch von Holz im Wert von 20€. Da ist ein Abzug wohl nicht verhältnismäßig. Der zahlungsplan ist für ein Bauträgerobjekt schon in Ordnung. Da ist ja des Grundstück mit drin.