Un cepillo de alambre probablemente causará más daño. Supongo que allí se aplicó un mortero de cemento. Para limpiar bien la piedra, generalmente hay que retirar material, es decir, chorrear, lijar o retirar con cuidado a mano. Yo usaría una piedra de esmeril, no con la máquina. Depende de qué tan grueso esté el mortero todavía. A menudo luego aplicamos un glaseado para los pequeños restos, porque si no, se debe quitar demasiado de la piedra. Sin fotos, es difícil dar una recomendación más precisa.