En el paraje conocido como el Carrascal (lugar poblado de encinas, generalmente pequeñas) existía una ermita de la que se tiene constancia desde el siglo XV y de la que proviene la Virgen de los Pastores o Virgen del Carrascal .
Una referencia a su demolición aparece en un expediente 1827 de la Real Chancillería de Valladolid (tribunales de justicia civil de la época) en la que se menciona:
ES.47186.ARCHV/1.1.2//GOBIERNO DE LA SALA DEL CRIMEN Testimonio de la justicia de Palaciosrubios (Salamanca) sobre diversos asuntos: cumplimiento de Orden de la Chancillería de Valladolid sobre persecución de malhechores, recogida de mendigos en casas de misericordia, demolición de una ermita arruinada en Villaflores (Salamanca) por servir de refugio a bandidos, demolición o restauración, para ser habitado, del convento de Virtudes en Zorita de la Frontera (Salamanca) por el mismo motivo que el anterior, y demolición de las ruinas de un castillo entre Horcajo de las Torres y Rasueros (Ávila) por el mismo motivo.