La construcción se retrasa continuamente - ¿llamar al jefe de obra?

Eso no es para nada correcto. Quizás te refieras a un promotor inmobiliario. En ese caso tu afirmación sería correcta. Pero el OP es promotor y ha firmado un contrato de obra. Por supuesto, debería actuar cuando el retraso sea evidente, es decir, cuando el contratista no entregue el servicio debido conforme al contrato. Eso es en principio lo mismo que con los defectos de construcción.

Un retraso NO es visible en 4 meses si la estructura ya está levantada!