El castillo de Baños de la Encina, tradicionalmente ha sido considerado una obra califal a partir de la confusión generada por una lápida fundacional que le fue atribuida erróneamente, constatándose que la misma estuvo emplazada en la muralla de Talavera de la Reina, siendo todos los epígrafes que se han registrado en la localidad de carácter funerario. La fortaleza ocupa la zona de mayor altitud del Cerro del Cueto, mientras que la población de Baños de la Encina se extiende por sus vertientes norte y este, junto a uno de los afluentes más caudalosos e importantes del río Guadalquivir, el Rumblar.

Se trata de un monumental recinto defensivo, conformado por paños de muralla jalonados por quince torres cuadradas de tapial de argamasa (Tabiyya), revestido con cal que reproduce la técnica del “falso despiece”, entre las que destaca la torre norte por sus dimensiones. El recinto se adapta perfectamente a la orografía del terreno, conformando una fortaleza amurallada con forma elíptica, estratégicamente posicionada, ya que controla Sierra Morena por el norte y toda la campiña jiennense, por el sur. 

En el espacio interior se disponen diferentes estancias, en su mayoría de planta cuadrada, a ambos lados del recinto, existiendo en la zona central, la más elevada del cerro, un aljibe de planta rectangular, dividido en dos salas por un muro medianero, cubiertas por bóvedas de cañón.

La entrada al recinto se realizaba en recodo, utilizando un estrecho pasillo que se formaría entre la muralla y las diferentes estancias, para alcanzar la parte sur del recinto o incluso el acceso al aljibe. De la misma forma, hacia el norte, las dependencias de la fortaleza estarían separadas o distribuidas siguiendo otro vial, en esta ocasión empedrado, que llegaría hasta la torre más septentrional del recinto. Estas dos calles, que circulan de sur a norte, dividen y ordenan la mitad septentrional del castillo en tres alargados espacios, a la vez que daban acceso a las torres, en cuyo interior se disponen pequeñas estancias superpuestas. Ambas calles se cortan con la reforma cristiana y la construcción del alcazarejo, pero se conservan algunos restos en este nuevo espacio cristiano.

Enfrentada con la entrada principal, en la zona occidental del lienzo de muralla, se emplaza la Pontanilla, puerta delimitada por dos muros, posteriormente reformados, con el mismo sistema defensivo que la entrada principal, con un pasillo estrecho y quebrado.

Tras la conquista por Fernando III de Castilla en 1225 se produce un reordenamiento interno del castillo y de su sistema defensivo. 

Se construye en la zona norte el Alcazarejo, con un torreón circular y dos murallas de sillarejos que se adosan a los lienzos musulmanes del castillo. Así se obtiene un espacio romboidal, que se convierte en el último reducto defensivo y protege la Torre del Homenaje, que sustituye a la original torre islámica. De mayores dimensiones y edificada en mampostería, se accedería a ella por los adarves laterales. En el interior del recinto externo se han documentado otras dependencias castellanas, como un espacio de almacén y bodega en el rincón este y estructuras posiblemente destinadas a horno para pan y lagar.

La utilización del Castillo como cementerio hasta 1928, afectó gravemente a los restos arqueológicos, pudiéndose observar en la actualidad las improntas de los nichos en algunos lienzos de la muralla oeste.

La riqueza minera y su ubicación estratégica atrajeron pobladores desde época prehistórica al Cerro del Cueto. La primera ocupación de importancia registrada, ligada al auge de la minería del cobre y después del bronce data del II milenio a.n.e., coincidiendo temporalmente con el poblado de Peñalosa. Son asentamientos con las similares características, que se deben considerar de la misma estructura político-económico-social. 

La ocupación iberorromana parece concentrarse en la zona más alta del cerro, donde se han documentado varias fases de ocupación casi ininterrumpidas que se extienden desde el ibérico pleno hasta época romana tardía. 

Tras la conquista musulmana de la Península Ibérica, la población se instalaría en las faldas del recinto defensivo. En la zona más elevada debió existir un bastión militar que reutilizaría los muros y lienzos preexistentes.

Tradicionalmente se ha considerado que el castillo de Baños de la Encina fue edificado durante el reinado de al-Hakam II en la segunda mitad del siglo X, a partir de la atribución errónea de una lápida epigráfica depositada en el Museo Arqueológico Nacional, sin embargo, las últimas investigaciones han puesto de manifiesto la edificación de este conjunto defensivo en un periodo anterior a los acontecimientos bélicos que culminaron con la Batalla de las Navas de Tolosa (1212), para servir de baluarte defensivo junto a los castillos de Castro Ferral, Las Navas de Tolosa o Vilches, ante el avance de las tropas cristianas, guiadas por sus monarcas, entre los que destacarían Alfonso VII y Alfonso VIII.

Tras su conquista en 1225 por Fernando III, pasó a formar parte de un amplio territorio concejil bajo la jurisdicción de la ciudad de Baeza, siendo objeto de significativas remodelaciones internas concentradas en la parte más septentrional de la fortaleza.

A lo largo de los siglos XVI y XVII, la población va realzando su poder económico y social con la construcción de grandes edificios señoriales de familias de un cierto rango social, provenientes sobre todo de Baeza y Linares, que se irán estableciéndose a ambos lados de la vía principal. La posibilidad de que la villa estuviese delimitada por una cerca muraria, con una función más fiscal que defensiva, está avalada por algunos vestigios aún perceptibles en el núcleo urbano. En época de Felipe IV, en 1626, Baños adquiere la independencia jurisdiccional, desgajándose del gran Concejo de Baeza.

El castillo parece mantener su carácter militar hasta el siglo XVII, a partir del cual sufrirá un proceso de deterioro y abandono que se prolongará con toda probabilidad hasta el siglo XIX, cuando se comenzará a utilizar el patio de armas como cementerio municipal hasta bien entrado el siglo XX.
 

Destacan los restos de la torre del homenaje enclavada en el patio de armas. Merece la pena aprovechar los niveles bajos del embalse para pasear hasta el castillo desde el citado mirador.

Alfonso X ganó el castillo mediante la Paz Firmada con el rey Muhammad II año 1281. En el año 1462, acabadas las treguas de Enrique IV concedió a los moros granadinos el Condestable D. Lucas de Iranzo, con 600 hombres de caballo y 2000 peones atacó el castillo de Campillo de Arenas el día 20 de abril de 1462. El combate fue muy intenso y de cinco puertas que tenía el castillo, dos fueron quemadas por los cristianos. No obstante, no se llegó a conquistar.

El Condestable envió desde Jaén 30 caballeros para preparar una emboscada a la guarnición de Campillo de Arenas. Les servía de espía un moro renegado que era sobrino del Alcaide de Campillo de Arenas. La emboscada no tuvo éxito y tras una ligera escaramuza los cristianos volvieron a Jaén. En el año 1463, el Condestable envía 40 peones al mando de Juan Navarrete, contra el castillo de Campillo. Los cristianos hacen dos prisioneros por los que se supo que la guarnición la componían 33 moros.

El Condestable Iranzo envía 30 soldados para intentar apoderarse de Campillo cosa que no llegó a realizarse porque "... fallaron que estaba a buen recaudo". En 1471, el rey de Granada al enterarse de un proyecto cristiano de ataque a Campillo envió a sus defensores "bastecimiento de recua e gente". En la carta del Condestable Iranzo al entonces Papa Sixto IV, sobre la apurada situación de Jaén ante el empuje de los moros se cita como de gran peligro para los cristianos al castillo de Campillo de Arenas. Otras noticias sobre nuestro castillo nos las dan los siguientes cronistas:
Argote de Molina en su "Nobleza de Andalucía" (1588), cita como Alcaide del Castillo de Campillo de Arenas a D. Francisco Fonseca.

Ximena Jurado en sus "Anales eclesiásticos" (1654), califica al castillo de Campillo como "Un castillo fuerte sobre la Puerta de Arenas". Espinalt en "Atlante español" (1787), dice lo siguiente sobre el castillo de Campillo de Arenas: "Al occidente de esta villa a media legua de distancia, permanece un fuerte castillo algo arruinado, de tiempo inmemorial, como también la Puerta de Arenas celebrada por dos altos peñascos que la forman; tiene veinte varas de latitud y a través pasa el río Valdearanzo y hay tradición que media cadena que hay en la cárcel de esta villaes una que ponían dos sarracenos en dicha puerta para impedir la entrada de los cristianos del reino de Jaén".

Campillo fue conquistado a los moros por D. Pedro Coello, Caballero de la Vanda. Su cuerpo fue sepultado en la Campilla de San Luis de los Caballeros, del desaparecido Real Convento de San Francisco de Jaén. Su epitafio decía así: Aquí yace Pedro Coello, Caballero de la Vanda, que ganó a los moros el castillo de Arenas a su costa y murió en una entrada con ellos, durante el reinado de los Reyes Católicos en el año 1486.

El castillo estuvo ligado a la Orden de Santiago, que creó la encomienda de Bedmar y Albanchez. Lo que de él se conserva es su alcazarejo, construido con mampostería, que consta de dos pequeños núcleos impresionantes por su aspecto exterior y el cerramiento de la peña sobre la que se asienta, pero con escasa capacidad interna para albergar tropas y enseres. El núcleo más alto es una estrecha plataforma rectangular que habilita un reducido espacio interior. La entrada se abre a la terraza de un torreón de planta rectangular que albergaba dos cámaras: una superior, cubierta de bóveda de medio cañón, hoy derruida, y otra inferior, un aljibe, con bóveda ligeramente apuntada y restos del estuco que lo recubría. El castillo contaba, además, de un pequeño patio de armas triangular con parapeto almenado y ventanas saeteras, terraza cuadrada con albarrana para defender sobre el precipicio, muros protectores, hoy prácticamente destruidos, y esquinas redondeadas exteriores como correspondía a un castillo calatravo. Fue declarado Bien de Interés Cultural en 1985.

En alto, sobresaliendo entre el caserío, las ruinas del castillo, dominadoras y solitarias, son obligadas referencia de la intensidad de sus primeros avatares históricos, pero también de la configuración urbanística del municipio. Situado en el punto más alto del entorno, constituyó un lugar de vigilancia privilegiado durante siglos. De aquel castillo, síntesis dialéctica de lo musulmán y de lo cristiano tras ser conquistado por Fernando III, quedan evocaciones a la solidez de sus ya derruidos lienzos de murallas, a su escalera de caracol con puerta falsa, canes, alacena para librería y hasta una bodega para guardar los más generosos caldos manchegos. 

Las ruinas de este castillo fueron declaradas en 1985 Bien de Interés Cultural. 

En la plaza del pueblo se exhibe un panel cerámico, realizado por Palenciano en 1983, de cierto formalismo kitsch, al gusto popular, donde se representa a la patrona, la Virgen de Albanchez con el niño Jesús, coronada por ángeles, así como una perspectiva panorámica de la iglesia parroquial.