En 1169 el Castillo de Castro Ferral fue conquistado por caballeros calatravos comandados por Fernando de Icaza, segundo Maestre de la Orden. No obstante, antes de la batalla de las Navas de Tolosa, la fortaleza se encontraba de nuevo bajo el control musulmán. Ferral protagonizaría varios hechos de armas durante la campaña militar que concluiría con el triunfo cristiano de la Navas (1212). La importancia estratégica de este castillo, al controlar uno de los tradicionales pasos de Sierra Morena, le convertía en un objetivo imprescindible para todo ejército que pretendiera atravesar la zona.

El traslado de la frontera a las Cordilleras Béticas marcó el declive de Castro Ferral, que perdió su papel de vigilante de los accesos al Valle del Guadalquivir. A esta circunstancia se unió la fundación de Santa Elena (Ermita de los Palacios), que le restó importancia como centro de referencia para la escasa población de aquellos contornos. En época indeterminada lo aportillaron para evitar que se convirtiera en guarida de salteadores.

El castillo de Ferral estuvo formado por tres recintos defensivos. El primero, actualmente el peor conservado, lo constituía una amplia empalizada en talud de tierra que cerraba la cúspide del cerco describiendo un círculo casi perfecto. Esta línea defensiva es más sólida y pronunciada en los extremos Norte y Noreste, donde el desnivel del terreno es mayor.

En su interior se desarrolla un segundo recinto, posiblemente construido en tapial de tierra sobre basamento de mampostería, del que se conservan diversos restos y dos bastiones que pudieron proteger la entrada al castillo.

El núcleo central del castillo está formado por un recinto rectangular de tapial de argamasa, en cuyo interior son visibles los restos de subterráneos, posiblemente aljibes.

Se produce entonces el primer ensanche urbano de la población, que rompe longitudinalmente hacia el Suroeste con su antigua estructura amurallada. A lo largo de este eje se levantan el Pósito, sede del Ayuntamiento, y la iglesia de Ntra. Sra. de la Concepción, parroquia en pie hasta 1955, año en el que sobre ella se construyó la actual, perdiendo la población una de las dos parroquias históricas que tuvo en el pasado.

La otra parroquia se alza ruinosa dentro del recinto bajo de la fortaleza, configurando con ella y la espléndida naturaleza de la Sierra que la enmarca uno de los lugares más bellos de la provincia de Jaén. Este segundo templo, dedicado a Santo Domingo, es fruto del empeño de uno de los hombres más influyentes en la España de Carlos I, el famoso y prepotente secretario Francisco de los Cobos, que consiguió hacerse con el señorío del Adelantamiento en 1534, permaneciendo bajo la administración y control de sus descendientes, los Marqueses de Camarasa, hasta el año 1606, fecha en la que es recuperado por el Arzobispado de Toledo, propietario del amplio señorío desde el siglo XIII. Durante este período se construiría la que Rus Puerta califica como Iglesia Mayor.

Pero este monumental templo presentaba cierto abandono y ruina en el siglo XVIII. En el Catastro del Marqués de la Ensenada, de 1751, se relata así el estado en que se encontraba: “(...) lo que causa mayor dolor es ver la fábrica de la parroquial mayor de Santo Domingo de Silos por acabar, siendo esta bastante decente, y por los muchos hostigos y tejados con los que hoy se halla, por no estar perfeccionada padece el continuo detrimento de tan continuos gastos para poder conservarse (...)”.

La Guerra de la Independencia provocó su total ruina, pues fue incendiada, como Santa María, de Cazorla, el 4 de julio de 1810 por las tropas francesas. Posteriormente fue usado como Cementerio hasta mediados del siglo XX, quedando aún visibles los restos de esta ocupación. Paseando por las ruinas de Santo Domingo de Silos podemos acercarnos a uno de los episodios de la historia de estas sierras menos conocido. Poco sabemos sobre lo sucedido entre 1808 y 1812 en unas zonas muy alejadas de las ciudades ocupadas por los franceses. ¿Por qué incendiarían los franceses un edificio como la iglesia de Santo Domingo de Silos? Está claro que en una zona tan inaccesible, la presencia de los invasores franceses era bastante puntual.

Al mismo tiempo se ha constatado que aprovechando la geografía del terreno muchos guerrilleros se escondieron de los invasores en esta zona. Sabemos que ningún pueblo acogió de buena gana el gobierno de José I. Por el contrario, se organizaron juntas de defensas en las capitales de partido para hacer frente a los franceses.

En muchos pueblos se hicieron algunas obras de fortificación y quizá esta fue la última vez en la que se volvió a utilizar el castillo de Segura de la Sierra con fines militares. La respuesta francesa fue siempre la misma y consistió en el saqueo y destrucción de todos los elementos del poder en los pueblos. Normalmente se incendiaba el ayuntamiento con el objetivo de destruir toda la documentación del archivo y paralizar administrativamente el gobierno local. Otro objetivo eran las iglesias para destruir libros de bautismos y de defunciones, aunque la destrucción de las iglesias tenía también un componente psicológico pues se destruía un refugio para la población y al mismo tiempo el último recurso que los vecinos tenían en una situación de este tipo, el acudir a la iglesia a rezar para implorar la ayuda divina.

Por otra parte, según Vicente Salvatierra parece muy posible que la primitiva iglesia pudo estar en el mismo emplazamiento que la de Santo Domingo, al pie del castillo. En opinión de Luis Magaña, Rodrigo de Gibaja, maestro cantero ligado al Arzobispado de Toledo y responsable de las fábricas de la Colegial de Baeza y de la iglesia de Puebla de Don Fabrique, en tierras granadinas, tuvo a su cargo las obras de las iglesias de Santa María, en Quesada, y de Santo Domingo de La Iruela. También se ha documentado la participación del cantero cazorleño Gabriel de Tauste. No hay constancia documental de la intervención de Andrés de Vandelvira, pero es muy probable que diera las trazas a instancias de Francisco de los Cobos en torno al año 1534, encargándose de la ejecución Gibaja y Tauste, entre otros maestros canteros.

Chueca Goitia, comparando los restos de las iglesias de Santa María, de Cazorla, con la de La Iruela, estima que esta “Es de arte más pobre y tosco, como realizado por maestros locales siguiendo, seguramente, inspiraciones vandelvirescas”. En cualquier caso, ambas fábricas se están levantando paralelamente, dilatándose más en el tiempo la de Cazorla. De aquel monumental templo solo restan parte de los muros perimetrales, las portadas de acceso, la escalera de caracol para acceder a la torre de campanas, las capillas mayor y colaterales y una monumental portada en el lado del Evangelio con un relieve en el que se representa el milagro de la imposición de la casulla a San Ildefonso. La planta era de tres naves y la cabecera plana y destacada.

Determinados rasgos decorativos, la traza de las portadas de acceso y, sobre todo, la composición del alzado de los muros del crucero o primer gran tramo, articulado por un gran arco de medio punto en la parte alta y dos capillas en la baja separadas entre sí por una pilastra con una hornacina avenerada, son claramente vandelvirianos. En la catedral de Jaén o en San Isidoro de Úbeda, Andrés de Vandelvira incorporó monumentalmente esta composición, ejecutada con mayor sencillez en el caso de La Iruela.

Le costó el empeño, pero al final, y a pesar de la resistencia de Toledo, en 1534 obtuvo el título, pero no pudieron conservarlo sus descendientes, ya que fue reintegrado a sus anteriores propietarios tras un sonado pleito en 1634. Cobos completaría poco después su sueño de convertirse en un gran señor con la compra de las villas jiennenses de Sabiote, Canena, Torres y Velliza (Valladolid); su esposa, María de Mendoza, redondeó este gran Estado con la adquisición de Jimena, cuyo proceso de compra ya fue iniciado por su marido.

En todos estos enclaves, más en su ciudad natal y en la de su mujer (Úbeda y Valladolid, respectivamente), Francisco de los Cobos proyectó grandes programas edilicios de marcada significación artística y propagandística. Esta doble intención queda perfectamente reflejada en el proyecto de la iglesia de Santa María, que con toda probabilidad quedó a cargo de su hombre de confianza, el deán Ortega, que a su vez confiaría los trabajos y dirección en Andrés de Vandelvira, el maestro de cantería de la Casa, sobre todo a partir de los trabajos en El Salvador de Úbeda.

La nueva iglesia se levantaría sobre el cauce del río Cerezuelo, pero para ello hubo de abovedarse no solo el espacio dedicado a la iglesia, sino también el resto del mismo situado frente a ella. Así el templo cierra y preside la plaza, que además contó con el edificio Ayuntamiento (en la actualidad oculto) y un bello pilar-abrevadero, que Chueca Goitia atribuye a la mano de Andrés de Vandelvira, pese a que la fecha 1606 labrada en su gran cartelón central indique lo contrario. No hemos de olvidar que devuelto el Adelantamiento a Toledo las huellas de Cobos y sus descendientes, los Marqueses de Camarasa, debieron de borrarse en todos aquellos bienes en donde estuvieren presentes.

Aquel templo, ubicado en un enmarque natural único, sufrió una catastrófica riada a fines del siglo XVII, llevándose consigo casi todos sus bienes muebles. El incendio por las tropas napoleónicas en la Guerra de la Independencia dejó la fábrica arruinada, permaneciendo en pie la cabecera, parte de los muros perimetrales, una de las dos torres de los pies, con diversos restos, y una portada en el lado de la Epístola. La destrucción y la escasa documentación hasta ahora encontrada sobre su proceso constructivo, dificulta fijar las etapas y los maestros responsables de su fábrica. En cualquier caso, parece clara la diferencia de estilo entre la cabecera y el resto. Andrés de Vandelvira está presente en la cabecera y capilla de San Isicio, quedando fuera de su lenguaje la parte de los pies y la portada lateral, que, según José María Crespo, pudo correr en buena medida a cargo de Alonso Barba.

La bóveda de cañón acasetonado del presbiterio, el vano serliano del testero, los pilares angulares que conformarían el crucero, con medias columnas corintias y cabezas fantásticas, y la escalera de caracol rematada en un cuerpo cilíndrico son sin duda elementos empleados por Vandelvira en torno a la década de 1540. La bóveda de la capilla de San Isicio, por su parte, guarda estrecha relación con la situada bajo la torre-campanario de El Salvador de Úbeda. La planta, conformada por una nave y crucero a cubrir (al menos en el proyecto inicial) con bóvedas baídas, se aproximaría al tipo de La Guardia, iglesia conventual en la que Vandelvira dejó también lo mejor de su arte en la capilla mayor y crucero.

Las ruinas de Santa María, en la actualidad en proceso de restauración con arreglo al proyecto del arquitecto D. Pedro Salmerón, muestran aún en la actualidad la soberbia arquitectura con la que fue concebida por uno de los hombres más influyentes del siglo XVI en España, don Francisco de los Cobos, que tuvo además la suerte de tener a su servicio a Andrés de Vandelvira, uno de los maestros canteros más sobresalientes del Renacimiento Español.

Arquitectónicamente es un puente de un solo ojo formado por un arco de medio punto, bastante robusto y con pilares y paramentos que obligan a hacer una curva al río Cañamares. La sillería está bien trabajada y es bastante regular en tamaño.