Dans la zone où se situe le château ont été documentées des structures d'habitat et de stockage (une structure hydraulique, des silos et des fonds de cabanes) appartenant à un village de l'âge du Cuivre. De l'établissement romain, on peut distinguer une double enceinte fortifiée, protégée par un fossé du côté nord, qui renforçait sa défense. Elle s'articulait probablement autour d'une tour située au sud-ouest, à laquelle correspondraient les blocs de grande taille qui fondent le donjon médiéval. À l'intérieur s'élevaient des édifices dont il ne reste que peu de vestiges, avec des structures de stockage de production agricole et d'eau. La forteresse médiévale, érigée entre les XIIIe et XIVe siècles en profitant des vestiges d'époque romaine, consistait en une enceinte fortifiée en forme de trapèze irrégulier, dotée de quatre tours, dont trois sont aujourd'hui conservées : une grande tour rectangulaire occupant l'angle sud-ouest ; une petite tour circulaire au nord-ouest, dont seule la base subsiste ; et une autre rectangulaire, massive, au nord-est, qui défendait la porte du château. À l'angle sud-est existait une quatrième tour, disparue au XIXe siècle. L'ensemble est construit en maçonnerie, à l'exception du mur sud, dont l'élévation est en pisé. Le donjon sud-ouest, ou donjon proprement dit, se divise en trois étages plus un rez-de-chaussée, occupé par une citerne. En certains points du donjon, on peut encore distinguer des vestiges de la décoration d'origine qui couvrait les murs de la fortification, un motif de feuilles ou de gouttes obtenu par des techniques de sgraffite, décoration qui couvrait également les murailles et la tour massive. La porte d'origine de la tour était fortement défendue, à double vantail ; elle disposait d'une ouverture pour jeter des liquides ou des pierres sur les assaillants, ainsi que d'une herse. Cet accès fut condamné lors de la construction d'une citerne à l'intérieur de la tour, qui occupe presque tout le rez-de-chaussée. La couverture voûtée de la citerne a disparu, mais deux éléments qui y sont liés sont encore conservés : une structure de décantation et un puits pour l'extraction de l'eau. Les interventions archéologiques qui mirent au jour ce réservoir d'eau récupérèrent également l'escalier d'origine encastré dans le mur nord de la tour. Les deux peuvent être observés lors de la visite, la citerne pouvant être parcourue à pied. La montée au donjon culmine sur la terrasse, qui offre un vaste contrôle visuel du territoire, permettant d'apercevoir des sites tels qu'El Berrueco, Andújar, Arjona ou Martos, ce qui explique le choix de cet emplacement pour la construction de la fortification. Sa position sur un versant escarpé faisait office de défense naturelle, mais les côtés nord et ouest, plus accessibles, étaient protégés par un large fossé d'environ 7 m de largeur et 2,10 m de profondeur maximale, resté caché jusqu'à sa mise au jour lors de récentes interventions archéologiques. Le fossé s'étendait entre deux tours renforcées par des escarpes encore visibles. À partir du XVIe siècle s'ouvre une nouvelle porte dans la muraille ouest, avec un portail Renaissance encore conservé, réalisé en pierre de taille. Il se compose de deux corps, l'inférieur à arc en plein cintre sur pilastres, et le second avec un grand cartouche rectangulaire au centre, portant les armoiries de Don Fernando de Torres et de sa première épouse, Doña Francisca de Carvajal y Osorio. La plus grande transformation fut la construction de corps de bâtiment accolés aux murailles, formant un vaste espace résidentiel. Le donjon et le mur sud conservent des baies qui les auraient reliés entre eux. Aujourd'hui, on reconnaît les rez-de-chaussée de ces constructions, bien qu'elles aient atteint entre deux et trois étages de hauteur. Ces corps de bâtiment abritaient « l'espace privilégié » du palais, c'est-à-dire les appartements du comte et de la comtesse, la chapelle, la crypte, le vestibule et un corridor-galerie ou atrium, dans le corps ouest, tandis que dans l'édifice sud, le rez-de-chaussée était consacré au stockage, réservant le premier étage à l'espace représentatif principal du palais, une grande salle dotée d'une cheminée sculptée dans la façade de la tour. Les structures situées au nord et à l'est étaient principalement dédiées au service, incluant les écuries, les cuisines et une cave. Les interventions archéologiques confirmèrent l'existence d'un établissement préhistorique, de l'âge du Cuivre, sur la colline où se trouve aujourd'hui le château. La présence de dents de faucille, de meules et de silos de stockage indique une économie agricole basée sur la culture des céréales. Ont également été localisées une structure hydraulique, des structures d'habitat souterraines et des trous de poteau. Il ne semble pas y avoir eu de continuité dans l'occupation de l'espace, ce qui suppose un abandon temporaire de l'établissement. Du début du Ier siècle av. J.-C. jusqu'au IIe siècle apr. J.-C., on observe dans la campagne une augmentation des établissements agricoles consacrés à la culture des céréales. À cette époque se produit une réoccupation de cet espace, un établissement fortifié, dont l'apogée se situerait entre le premier quart du Ier siècle et le IIe siècle apr. J.-C., avant d'être à nouveau abandonné. Au bas Moyen Âge, le terme « villar » désignait un lieu portant les vestiges d'un établissement ancien abandonné. Après la conquête du territoire, les Castillans s'y établirent alors que les structures romaines étaient encore visibles, choisissant d'en réutiliser certaines, ainsi que des matériaux de construction, pour ériger le château. Le hameau d'El Villar de Don Pardo est déjà mentionné dans les sources en 1251, mais le château ne sera construit qu'à la fin du XIIIe ou au début du XIVe siècle, la fortification étant mentionnée pour la première fois en 1416, comme lieu appartenant encore au conseil municipal de Jaén. Par la suite, Fernando Ruiz de Torres obtiendra la cession du hameau. Dans la seconde moitié du XVe siècle, alors que Teresa de Torres, épouse du connétable de Castille Miguel Lucas de Iranzo, est dame du lieu, Villardompardo devient l'une des lignes de défense des partisans d'Henri IV face à la noblesse rebelle, dirigée dans la région par l'ordre de Calatrava. Le décès sans héritiers de son fils fit passer la seigneurie à une branche collatérale des Torres, alliée à la famille de Pierre Ier de Portugal. Philippe II en fit un chef-lieu de comté en nommant Don Fernando de Torres y Portugal comte de Villardompardo en 1576. Entre la fin du XVIe et le début du XVIIe siècle s'effectuera la transformation du château en palais, résidence habituelle des comtes. Leurs successeurs, cependant, installèrent leur résidence à la Cour, à Madrid, ce qui entraîna un processus de ruine, faute d'entretien. L'abolition des majorats sous le règne de Ferdinand VII obligea au partage de l'héritage, détachant le château de Villardompardo de la branche nobiliaire principale. À la fin du XIXe siècle ou au début du XXe, les bâtiments construits au XVIe siècle furent démolis, ne laissant que les murs périmétraux, aplanissant la surface et taillant des gradins dans la muraille nord pour transformer temporairement l'enceinte en arène de tauromachie. Le château a fait l'objet de divers travaux de consolidation d'urgence, de fouilles archéologiques et de restauration entre 2012 et 2023.