De construcción árabe y levantado probablemente sobre las ruinas de un castro prerromano, ha estado ligado desde entonces a la historia de la población. La construcción del mismo debió de realizarse a lo largo de la época almorávide y almohade, cuando la cora de «Fahs al-Ballut» adquirió un carácter eminentemente militar.
De planta poligonal, su estado actual es completamente ruinoso aunque a lo largo de su historia hubo de ser reconstruido total o parcialmente varias veces. Se conserva todo el lienzo septentrional de su murallas, la torre del homenaje, llamada de la «Cárcel», restos de un aljibe y parte del amurallamiento oriental, apreciándose aún su prestancia de otros tiempos. Fue destruido definitivamente en el año 1478 muy probablemente por orden de los Reyes Católicos como reprimenda a los excesos del entonces señor de Santa Eufemia, Gonzalo Messía Carrillo II.1