Cabe recordar que en aquella etapa de la historia española, el Franquismo, todos los castillos de España fueron declarados Bienes de Interés Cultural sin tener en cuenta cual fuese su estado de ruina. Desde hace años, los trabajos en una cantera propiedad de la cementera Tudela Veguín para extraer piedra caliza, han deteriorado notablemente los vestigios de esta histórica edificación. En la actualidad se ha atacado la parte sur del castillo, desapareciendo los caminos que había.
El desarrollo socioeconómico, con la creación y el mantenimiento de puestos de trabajo, pesó más que la historia y dio paso a la explotación de los terrenos. Tudela Veguín era entonces, y siegue siendo ahora, una de las principales empresas asentadas en el municipio y que generan una importante cantidad de empleo. Éste es, probablemente, uno de los motivos que propició que la explotación de la cantera no tuviese todo el apoyo ciudadano que podría haber tenido.
Rondaba el año 2004 y la oposición a la cantera daba sus primeros pasos en una batalla que no pudieron ganar. El Ayuntamiento de La Robla y la Junta Vecinal de Llanos de Alba defendieron ante Patrimonio la necesidad de conservar estos restos históricos. La idea era poner en valor estos restos históricos, con iniciativas como un aula arqueológica que nunca llegó a realizarse. Técnicos de la Junta de Castilla y León, según recuerdan diversas fuentes municipales de aquella época, visitaron el emplazamiento y certificaron que no tenía un valor significativo, dado que no era un castillo al uso, sino más bien una torre de vigía que se utilizaba como emplazamiento estratégico. Ese fue el paso clave para que se permitiese la continuidad de la cantera. Desde el año 2005 la organización Ecologistas en Acción empezó a denunciar el peligro de destrucción del castillo por el avance de la cantera. Para ello, se dirigió a los servicios territoriales de Medio Ambiente y Cultura para que se exigiese a la empresa cementera que respetase el yacimiento arqueológico del castillo de Llanos de Alba, excluyendo de la actividad extractiva el entorno de protección de este BIC. Unas reivindicaciones que se mantenían hasta el año 2012, momento en el que cementos Tudela Veguín se proponía ampliar la cantera ‘El Calero y Demasía’ en la dirección norte-este, sobre el entorno de protección del castillo.