Bajo el escudo aparece un bello reloj, labrado en piedra y de elegante factura, que, probablemente, diera nombre a la nueva construcción. Reloj que en el momento actual carece de función, pues de él tan solo persiste su esfera labrada. Reloj que sería sustituido, seguramente en el siglo XIX, por aquel que vemos por debajo del cuerpo mirador.

Todo parece indicar, según las actas capitulares del siglo XVII, que la Torre del Reloj era un elemento anexo a la cárcel real con la que estaba comunicada. El 12 de septiembre de 1653 se relata en las mismas que un preso había huido a través de la torre por el descuido del relojero, motivo por el que sería castigado y sustituido. Torre de vigilancia desde donde se visualizan las calles y gentes de Andújar y desde donde se marcaba el ritmo laboral de sus vecinos. En el momento actual, la Torre del Reloj, es, sin duda, uno de los elementos más representativos de la monumentalidad de la ciudad de Andújar y parte consustancial de la morfología de la plaza de Santa María

En el frente oeste y a media altura encontramos el escudo imperial de Carlos V y un reloj labrado en piedra. En el primer elemento ornamental, un águila bicéfala porta la corona imperial y el Toisón de oro bordea el escudo. En el cantón diestro el linaje de los Trastámara y de los Habsburgo y en el siniestro el de la Casa de Avís, que corresponden a Carlos V y a su esposa Isabel de Portugal, respectivamente. Su presencia se debe a la coincidencia de la ejecución de la obra con el reinado de Carlos V, pues era costumbre en la época dejar testimonio del monarca reinante en las nuevas construcciones. Escudo imperial que a los andujareños les recuerda, además, su fidelidad al monarca en los años de la guerra de las Comunidades, formando parte de la Junta de las Ramblas. No era de ese mismo parecer su alcalde mayor, Francisco de Vergara, que “sentía simpatía por los Comuneros, y enterada la ciudad de los manejos que traía con ellos, se indignó de tal forma, que en pleno Cabildo le quitó la vara de la justicia”. De la lealtad y obediencia de la ciudad quedó muy complacido el emperador y prueba de ello fue la carta que remitió el 20 de julio de 1520, desde la ciudad de Îpres, en la que agradecía la actitud de la ciudad hacia su persona en aquellos difíciles momentos.

La única fuente documental que existe en el día de hoy sobre esta construcción se encuentra en su frente oeste y dice:"Reinando su majestad y siendo/ corregidor de esta ciudad el muy magnifico caballero Francisco/ de Alarcón veinticuatro de Granada y su alcalde mayor el bachiller Sancho Díaz/ de Baeza se acabó el veinte de agosto de mil quinientos treinta y cuatro años. Mayordomo Alonso Yáñez."

En su base se encuentra la Oficina Municipal de Turismo, desde donde se puede acceder al Mirador panorámico.

La torre del Reloj, erigida a finales del siglo XIV, tiene unos doce metros de altura. Se asienta sobre zócalo de piedra, es cuadrangular, su sillería no es totalmente regular, se distribuye interiormente en cuatro niveles, conserva el almenado y también, en dos de sus caras, balcones con función de matacanes; en otra, ménsulas de matacán; mientras que en la del noroeste se ha colocado un reloj que le da nombre, donde primitivamente estuvieron ubicados el matacán y sus ménsulas.

En 1985 fue declarada Bien de Interés Cultural.

Según la descripción de varios autores, 3?4?5? más que de una atalaya se trataría de un castillejo. Construida en mampostería bien trabada, su planta es cilíndrica con un muro semicircular que protege la entrada. Esta se sitúa en altura (a unos 2 metros sobre el nivel del suelo) y aún conserva restos de dintel de madera de la puerta y la gorronera de la misma. Debió existir una segunda planta, puesto que en el interior de la torre quedan restos de vigas de la techumbre de madera que separaba ambos pisos. Alberga dos aposentos interiores superpuestos y una terraza. La parte inferior de la torre es maciza. Las plantas estaban cubiertas con bóvedas semiesféricas, comunicándose por una escalera adosada de 1,18 metros de anchura.

En general se conserva en buen estado, aunque una gran grieta amenaza con desmoronarla

Esta torre es lo único que queda en pie del sistema defensivo medieval. Mide unos 25 metros de altura hasta el parapeto de la terraza y es de base cuadrada. La entrada da al este y se ubica a 1,90 metros de altura. Por ella se accede a una habitación cuadrada cubierta con bóveda de ladrillo. Un poco desviado del centro en el suelo, se conserva un aljibe circular, excavado en la roca.

Por una escalera empotrada en los muros norte y oeste se accede a la primera planta que encierra una habitación cuadrada de 7,45 metros de lado. Se cubre con una bóveda de ladrillos, ligeramente apuntada, soportada por dos arcos apuntados, de piedra y ladrillo. Estos se estriban en los muros norte y sur. La luz se recibe de saeteras abiertas en el centro de cada muro. Empotrada en el muro sur asciende la escalera que va a la segunda planta. Es idéntica en disposición a la primera, si bien los arcos se apoyan en los muros este y oeste. En el muro este se abre un balcón, antes amatacanado, que cuidaba la entrada de la torre que queda en su vertical. A este balcón se accedía por dos estrechos vanos. Desde la segunda planta se accede a la terraza por una escalera empotrada en el muro oeste.

En el suelo de la primera planta, cerca de las esquinas, empotrados en el suelo, hay cuatro grandes silos de cerámica y con 1,20 metros de profundidad. Están insertados en el espesor de la bóveda subyacente, que es la cubierta de la planta baja. En la segunda planta hay otros cuatro de menor tamaño. Todos sirvieron para almacenar granos o líquidos. En las esquinas de la terraza de la torre persisten canes que sostenían balcones amatacanados.

La Torre es Bien de Interés Cultural.

Este castillo alcanzó en época del Condestable Iranzo el nivel de segundo rango, jugó un papel importante al tomar partido, como Andújar, por el bando realista cuando en 1465 los enemigos del rey pusieron sitio a Jaén, y se hizo famoso cuando, seis años después, el alcaide Diego Frías detuvo y mandó encerrar en su torre a un rival del Condestable, don Fernando de Acuña, hijo del conde de Buendía y nada menos que sobrino del arzobispo de Toledo.
En realidad el castillo, de pequeñas dimensiones, lo formaba una torre cilíndrica con remate de parapeto almenado, tal como la dibujó Martín de Ximena Jurado. Una piedra de la torre superior parece que tenía una inscripción, probablemente árabe. De esta torre no ha quedado ni rastro en el pueblo. Sin embargo la cabecera de la iglesia presenta un cerramiento que podría corresponder a restos del castillo. Este sólido muro semicircular de mampostería pudo ser reaprovechado a partir de una torre redonda de grandes proporciones, hermana de las de los castillos de Rus y El Mármol, en tierras de Baeza.
Este torreón fue declarado Bien de Interés Cultural en 1985.