La construcción de este castillo fue iniciada en la segunda mitad del siglo XV con el objeto de convertirse en la residencia de los condes de Belalcázar, señores feudales del territorio en aquella época. Su construcción data de 1450 cuando Juan II otorgó estas tierras a Gutiérrez de Sotomayor, Maestre de la Orden de Alcántara, permitiéndole construir un castillo. Actualmente , el castillo es propiedad de la junta de Andalucía. Esta fortaleza es un fiel reflejo del gran papel que estos señores desempeñaron como mecenas de la arquitectura y promotores del gótico tardío en la comarca. Parece que en el mismo lugar ya hubo una fortaleza romana, continuada luego en época musulmana, de la que todavía subsiste un importante testimonio en la cerca exterior, que se mantuvo como primera línea de muralla con torres albarranas sobre el arroyo Caganchas.
El topónimo de la localidad proviene de la expresión «bello alcázar». El castillo comenzó su deterioro a partir de la ocupación del mismo por las tropas francesas en la Guerra de la Independencia cuando modificaron el castillo para convertirlo en almacén. En esa misma guerra sufrió las consecuencias de la artillería.
