Ampliación del sótano de hormigón para oficina y habitación de invitados

Hemos comprado una casa adosada doble y estamos renovando activamente. Ahora estamos considerando utilizar una parte del sótano como oficina y habitación de invitados. El suelo tiene un aislamiento y sobre él hay un solado de cemento. Las paredes son elementos de hormigón prefabricados que han sido rellenados con hormigón en el centro.
Se deben reemplazar dos ventanas de sótano existentes por ventanas normales.
Como las paredes están muy frías, nos preguntamos qué podemos hacer al respecto para no tener costos enormes de calefacción. Hay una conexión para un radiador y se instalará una pequeña estufa de leña.
¿Existe alguna recomendación sobre cómo aislar el sótano de manera económica?

Nuestro sótano de hormigón está aislado por dentro, con poliestireno expandido con recubrimiento de aluminio, no recuerdo la denominación exacta. Allí también pasan las tuberías empotradas.