Cuentan las crónicas que en la Vega del Escobar se entabló una batalla entre el rey Ramiro II de León y las huestes musulmanas de Abderramán III.

A mediados del siglo X, las tropas del rey leonés persiguieron a las tropas sarracenas por el Valle del Tormes. Los musulmanes se hicieron fuertes en lo que hoy es Santiago del Collado y desde ahí serían empujados hacia el sur por los cristianos. En la Vega del Escobar se libró la batalla, poniendo los mahometanos en apuros a las tropas del rey cristiano.

Ramiro, cuando cayó la noche y observando que el enemigo era superior en número y en recursos, ideó una estratagema: ordenó a los pastores que ocupaban las inmediaciones colocar unas teas encendidas a los cuernos de las vacas y dirigirlas hacia el lugar en donde estaban acampados los andalusíes. Los musulmanes, al ver aquella luminaria en medio de la noche, y pensando que se trataba de un gran ejército, huyeron en todas direcciones. El rey Ramiro, agradecido por el resultado del engaño, ordenó “que tornen las vacas”. Y de este gesto surgiría el nombre del pueblo.

De este relato legendario no se tiene testimonio histórico fidedigno alguno, pero sí hay que destacar que la misma posee un gran valor histórico. Cuando el cartógrafo Don Tomás López, recorrió estos lugares en el siglo XVIII, el por entonces párroco de la Villa le comunicó la existencia de una inscripción latina en lo alto del puerto.

Desde el año 2010, cada 1 de mayo el pueblo recrea esta batalla.