Fue construido por los musulmanes, probablemente entre los siglos XI y XII, sobre los restos de una fortaleza romana erigida para controlar y defender el paso de la calzada romana que unía Toledo con Mérida por la orilla izquierda del río Tajo. El Castillo pasó a pertenecer a los Templarios que tenían su encomienda en Montalbán, continuando en sus manos hasta el siglo XIV en el que fue extinguida la poderosa Orden. Actualmente se encuentra en una propiedad particular.