Dans la zone où se trouve le château, des structures d'habitat et de stockage (structure hydraulique, silos et cabines) appartenant à une ville de l'âge du cuivre ont été documentées. De la colonie romaine on peut distinguer une enceinte à double paroi, protégée par une fosse du côté nord, qui a renforcé sa défense. Il serait probablement articulé autour d'une tour au sud-ouest, à laquelle correspondraient les grandes cloisons qui construisent la tourelle médiévale. Dans son intérieur, des bâtiments seraient construits à partir desquels il y a peu de restes, avec des structures de stockage de la production agricole et de l'eau. La forteresse médiévale, construite entre le XIIIe et le XIVe siècle, profitant des vestiges de l'époque romaine, se composait d'une enceinte irrégulière en forme de trapèze avec quatre tours, dont trois sont actuellement conservées : une grande tour rectangulaire qui occupe l'angle sud-ouest ; une petite et circulaire au nord-ouest dont seule la base est préservée ; et une autre rectangulaire, solide, au nord-est, qui défendait la porte du château. Dans le coin sud-est il y avait une quatrième tour, manquant au 19ème siècle. L'ensemble est construit en maçonnerie, à l'exception du mur sud, avec un ascenseur. La tourelle sud-ouest, ou tour Hommage, est divisée en trois étages plus un bas, occupé par un aljibe. À certains points de la tour de l'hommage, vous pouvez encore distinguer les restes de la décoration originale qui couvrirait les murs de la fortification, un dessin de feuilles ou de gouttes au moyen de techniques de sphoning, décoration qui couvrirait également les murs et la tour solide. La porte originale de la tour était fortement défendue, à double feuille, aurait une chaudière pour jeter des liquides ou des pierres sur les attaquants et un râteau. Cet accès a été aveuglé par la construction d'un aljibe à l'intérieur de la tour, qui occupe presque tout le rez-de-chaussée de la tour. La couverture voûtée de l'aljibe a disparu, mais deux éléments y sont associés, une structure de décantation et un puits pour l'extraction de l'eau sont encore conservés. Les interventions archéologiques qui ont mis en lumière ce réservoir d'eau ont également récupéré l'escalier original sur le mur nord de la tour. Les deux peuvent être vus lors de la visite, et ils peuvent marcher sur l'aljibe. La montée à la tourelle culmine sur la terrasse, qui offre un vaste contrôle visuel du territoire, avec des endroits tels que El Berrueco, Andújar, Arjona ou Martos, qui explique le choix de ce site pour la construction de la fortification. Son emplacement sur une pente raide a agi comme une défense naturelle, mais les côtés nord et ouest plus accessibles ont été protégés par une grande fosse d'environ 7 m de large et une profondeur maximale de 2,10 m, cachée jusqu'à son rétablissement dans les récentes interventions archéologiques. La fosse s'étend entre deux tours renforcées par des écharpes encore visibles. A partir du 16ème siècle, une nouvelle porte est ouverte sur le mur ouest, avec une couverture Renaissance qui est encore conservée, en pierre de carrière. Il est composé de deux corps, le plus bas avec une arche de demi-point sur les pilassas et le second avec un grand panneau rectangulaire au centre, qui abrite les armes de Don Fernando de Torres et sa première épouse, Mme Francisca de Carvajal et Osorio. La plus grande transformation a été la construction de corps attachés aux murs, formant un grand espace résidentiel. La Tour d'Hommage et le Mur du Sud restent vains et ils communiquent entre eux. Actuellement, les installations basses de ces constructions sont reconnues, bien qu'elles auraient atteint entre deux et trois étages de hauteur. Ces corps abritaient l'« espace privilégié » du palais, c'est-à-dire les pièces du comte et comtesse, la chapelle, la crypte, le zaguan et un gallery ou atrium coulissant, dans le corps ouest, tandis que dans le bâtiment sud le rez-de-chaussée était dédié au stockage, réservant le premier pour l'espace principal représentatif du palais, un grand salon avec une cheminée sculptée sur la façade de la tour. Les structures situées au nord et à l'est seraient principalement consacrées au service, y compris les écuries, les cuisines et un sous-sol. Les interventions archéologiques ont confirmé l'existence d'une colonie préhistorique, de l'âge du cuivre, sur la colline dans laquelle se trouve aujourd'hui le château. La présence de dents de faucille, de moulins et de silos de stockage indique une économie agricole basée sur la culture des céréales. Une structure hydraulique, des structures d'habitat souterrain et des structures de poteaux ont également été installées. Il ne semble pas y avoir de continuité dans l'occupation de l'espace, il doit donc y avoir eu un abandon temporaire de la colonie. Du début du 1er siècle a. n. au II d. n. il y a eu une augmentation des établissements agricoles dédiés à la culture des céréales. À cette époque, il y a une réoccupation de cet espace, une colonie fortifiée, dont la plus grande apogée serait entre le premier quart du premier siècle et le deuxième siècle d.n.a., d'où ils sont de nouveau laissés. La fin du village au Moyen Âge a identifié une place avec des restes d'une ancienne colonie abandonnée. Après la conquête du territoire, les castellans sont établis à l'endroit où les structures romaines seraient encore visibles, choisissant de profiter de certains, ainsi que le matériel de construction, pour ériger le château. Le village d'El Villar de Don Pardo est déjà mentionné dans les fontaines en 1251, mais le château ne sera pas construit avant la fin du 13ème ou début du 14ème siècle, se référant pour la première fois à la fortification en 1416, comme un lieu encore appartenant au Conseil de Jaén. Fernando Ruiz de Torres obtiendrait alors la cession du village. Dans la seconde moitié du XVe siècle, étant une dame de la place Teresa de Torres, mariée à la Condestable de Castille Miguel Lucas de Iranzo, Villardompardo devient l'une des lignes de défense des partisans d'Henri IV devant la noblesse levantisca, acclamé dans la région par l'Ordre de Calatrava. La mort sans héritier de son fils, il passa la seigneurie à une branche latérale des Torres, qu'il rejoignit avec la famille de Pierre Ier du Portugal. Philippe II l'a élevé à la tête du comté en nommant Don Fernando de Torres et le comte portugais de Villardompardo en 1576. Entre la fin du 16ème et le début du 17ème siècle le château sera transformé en un palais, comme un logement régulier des conds. Ses successeurs, cependant, ont installé sa résidence à la Cour de Madrid, qui a commencé un processus de ruine, en raison du manque d'entretien. L'abolition de la majorité dans le règne de Fernando VII a forcé la division de l'héritage, déconnectant le château de Villardompardo de la branche principale de la noblesse. À la fin du 19e ou au début du 20e siècle, les bâtiments construits au 16e siècle ont été démolis, laissant seulement les murs périmétrals, rafting la surface et la sculpture se dresse sur le mur nord pour transformer temporairement l'enceinte en arène. Le château a fait l'objet de divers travaux de consolidation d'urgence, fouilles archéologiques et restauration entre 2012 et 2023.