Los orígenes de la Villa de Puente del Congosto, cuyo nombre proviene de "Puente del Arco Angosto", se remontan a finales del siglo XI, tras la reconquista abulense. Por ella transcurre la Cañada Real Soriana Occidental. Estuvo integrada en el alfoz y posteriormente el realengo de la Tierra de Ávila, hasta ser donada el 2 de noviembre de 1393 por el rey castellano Enrique III a Gil González Dávila. Fue cabeza del Señorío de la Villa y Tierra de Puente del Congosto, hasta abolirse los señoríos. Y tras su pertenencia a la Orden de Calatrava, en 1539 fue transferida a la Casa de Alba con Fernando Álvarez de Toledo, el Gran Duque de Alba. 
Gil González Dávila comenzó la construcción del castillo a la margen izquierda del río Tormes. Se cree que la reina Isabel la Católica pernoctó en él, como Carlos V lo eligió de alojamiento en su postrero viaje a Yuste. Al morir sin descendientes los Dávila, la fortaleza pasó a la Corona y en 1539 los Alba la compraron a Carlos V. En 1881, extinguido el cobro del portazgo, se vendía al último pontazguero y vecino de la villa, Miguel Blázquez Martín, pasando a propiedad privada en 1980. El patio de armas alberga un museo de oficios antiguos, una cocina tradicional y carros.
En su catálogo Monumental de la provincia de Salamanca, encargado en 1901, Manuel Gómez Moreno señala que el puente fue construido por provisión de los Reyes Católicos en el 1500.
Un Acuerdo del Consejo de Gobierno de la Junta de Castilla y León de 3 de octubre de 2019 declaró el Castillo de los Dávila y el Puente Fortificado sobre el río Tormes Bien de Interés Cultural con categoría de Conjunto Histórico. En la actualidad, el castillo y el puente aparecen en el escudo heráldico del municipio, diseñado en 2003.
La reorganización territorial de Javier de Burgos en 1833 encuadró a Puente del Congosto en la provincia de Salamanca. Esa situación fronteriza se aprecia en que el importante yacimiento arqueológico de El Cerro del Berrueco se halla en la linde entre Salamanca y Ávila, en los términos municipales salmantinos de El Tejado y Puente del Congosto y el abulense de Medinilla.