La ermita de la Virgen de las Torres se sitúa frente a la Puerta de Aguilera, una de las que cerraba la villa. Fue la capilla del hospital de San Antonio, anejo a ella y mandado edificar por los condestables de Castilla, duques de Frías y marqueses de Berlanga, señores que fueron de la villa berlanguesa hasta la abolición de los señoríos. El retablo es barroco y sirve de marco a la imagen policromada, sedente, con niño en brazos, por la que los berlangueses sienten una gran devoción, celebrándole fiesta el 24 de septiembre, con procesión, salve cantada en el monasterio de Concepcionistas y subasta de banzos y quitada de manto.