In dem Bereich, in dem die Burg steht, wurden Wohn- und Lagerstrukturen (eine hydraulische Anlage, Silos und Hüttenböden) dokumentiert, die zu einer Siedlung der Kupferzeit gehören. Von der römischen Siedlung lässt sich eine doppelte Ringmauer unterscheiden, geschützt durch einen Wassergraben an der Nordseite, der ihre Verteidigung verstärkte. Sie war vermutlich um einen im Südwesten gelegenen Turm angeordnet, dem die großformatigen Mauersteine entsprechen dürften, die das Fundament des mittelalterlichen Turms bilden. Im Inneren dürften Gebäude gestanden haben, von denen nur wenige Spuren erhalten sind, mit Lagerstrukturen für landwirtschaftliche Erzeugnisse und Wasser. Die mittelalterliche Festung, zwischen dem 13. und 14. Jahrhundert unter Nutzung von Überresten aus römischer Zeit errichtet, bestand aus einer ummauerten Anlage in Form eines unregelmäßigen Trapezes, mit vier Türmen, von denen heute drei erhalten sind: ein großer rechteckiger Turm, der die Südwestecke einnimmt; ein kleiner, runder Turm im Nordwesten, von dem nur die Basis erhalten ist; und ein weiterer, massiver, rechteckiger Turm im Nordosten, der das Burgtor verteidigte. An der Südostecke gab es einen vierten Turm, der im 19. Jahrhundert verschwand. Die Anlage ist aus Mauerwerk errichtet, mit Ausnahme der Südmauer, deren Aufbau aus Stampflehm besteht. Der südwestliche Turm, oder Bergfried, gliedert sich in drei Stockwerke plus ein Erdgeschoss, das von einer Zisterne eingenommen wird. An einigen Stellen des Bergfrieds lassen sich noch Reste der ursprünglichen Dekoration erkennen, die einst die Mauern der Festung bedeckte – ein Muster aus Blättern oder Tropfen, ausgeführt in Sgraffito-Technik, eine Verzierung, die vermutlich auch die Ringmauern und den massiven Turm bedeckte. Die ursprüngliche Tür des Turms war stark gesichert, zweiflügelig, mit einer Öffnung, durch die Flüssigkeiten oder Steine auf Angreifer geworfen werden konnten, sowie einem Fallgitter. Dieser Zugang wurde zugemauert, als im Inneren des Turms eine Zisterne errichtet wurde, die fast das gesamte Erdgeschoss des Turms einnimmt. Die Gewölbedecke der Zisterne ist verschwunden, doch zwei damit verbundene Elemente sind noch erhalten: eine Absetzstruktur und ein Brunnen zur Wasserentnahme. Die archäologischen Grabungen, bei denen dieses Wasserreservoir freigelegt wurde, brachten auch die ursprüngliche, in die Nordmauer des Turms eingelassene Treppe zutage. Beide können bei einem Besuch besichtigt werden, wobei man über die Zisterne gehen kann. Der Aufstieg zum Turm endet auf der Terrasse, die einen weiten visuellen Überblick über das Gebiet bietet, von wo aus man Orte wie El Berrueco, Andújar, Arjona oder Martos erkennen kann, was die Wahl dieses Standorts für den Bau der Festung erklärt. Ihre Lage an einem steilen Hang diente als natürlicher Schutz, doch die zugänglicheren Nord- und Westseiten waren durch einen breiten, etwa 7 m breiten und bis zu 2,10 m tiefen Wassergraben geschützt, der bis zu seiner Freilegung bei jüngsten archäologischen Arbeiten verborgen blieb. Der Graben erstreckte sich zwischen zwei durch noch sichtbare Böschungen verstärkten Türmen. Ab dem 16. Jahrhundert wurde in der Westmauer ein neues Tor geöffnet, mit einem noch erhaltenen Renaissance-Portal aus behauenem Stein. Es besteht aus zwei Abschnitten: dem unteren mit einem Rundbogen auf Pilastern und dem zweiten mit einer großen rechteckigen Tafel in der Mitte, die die Wappen von Don Fernando de Torres und seiner ersten Ehefrau, Doña Francisca de Carvajal y Osorio, trägt. Die größte Umgestaltung bestand im Bau von an die Mauern angebauten Trakten, die einen großen Wohnbereich bildeten. Der Bergfried und die Südmauer bewahren Öffnungen, die sie miteinander verbunden hätten. Heute lassen sich die Erdgeschosse dieser Bauten erkennen, obwohl sie ursprünglich zwei bis drei Stockwerke Höhe erreicht haben dürften. Diese Trakte beherbergten den „privilegierten Bereich" des Palastes, das heißt die Gemächer des Grafen und der Gräfin, die Kapelle, die Krypta, den Vorraum und einen Galeriegang bzw. Atrium im Westtrakt, während im Südgebäude das Erdgeschoss der Lagerung diente und das erste Stockwerk dem wichtigsten repräsentativen Raum des Palastes vorbehalten war – einem großen Saal mit einem in die Turmfassade gemeißelten Kamin. Die im Norden und Osten gelegenen Strukturen dürften hauptsächlich dem Dienstbereich gedient haben, einschließlich Stallungen, Küchen und eines Kellers. Die archäologischen Untersuchungen bestätigten die Existenz einer prähistorischen Siedlung aus der Kupferzeit auf dem Hügel, auf dem sich heute die Burg befindet. Das Vorkommen von Sichelzähnen, Mühlen und Vorratssilos deutet auf eine Agrarwirtschaft hin, die auf Getreideanbau beruhte. Ebenfalls gefunden wurden eine hydraulische Anlage, unterirdische Wohnstrukturen und Pfostenlöcher. Es scheint keine kontinuierliche Nutzung des Geländes gegeben zu haben, sodass die Siedlung vorübergehend aufgegeben worden sein muss. Vom frühen 1. Jahrhundert v. Chr. bis zum 2. Jahrhundert n. Chr. kam es in der Landschaft zu einer Zunahme landwirtschaftlicher Siedlungen, die dem Getreideanbau dienten. In dieser Zeit wurde dieser Ort erneut besiedelt, als befestigte Siedlung, deren Höhepunkt zwischen dem ersten Viertel des 1. und dem 2. Jahrhundert n. Chr. lag, bevor er erneut aufgegeben wurde. Im Spätmittelalter bezeichnete der Begriff „villar" einen Ort mit den Überresten einer verlassenen antiken Siedlung. Nach der Eroberung des Gebiets ließen sich die Kastilier an einem Ort nieder, an dem die römischen Strukturen noch sichtbar waren, und entschieden sich dafür, einige davon sowie Baumaterial wiederzuverwenden, um die Burg zu errichten. Das Weiler El Villar de Don Pardo wird bereits 1251 in den Quellen erwähnt, doch die Burg wurde erst Ende des 13. oder Anfang des 14. Jahrhunderts erbaut, wobei die Festung erstmals 1416 erwähnt wird, als noch zum Rat von Jaén gehörender Ort. Später erlangte Fernando Ruiz de Torres die Abtretung des Weilers. In der zweiten Hälfte des 15. Jahrhunderts, als Teresa de Torres, verheiratet mit dem Connétable von Kastilien Miguel Lucas de Iranzo, Herrin des Ortes war, wurde Villardompardo zu einer der Verteidigungslinien der Anhänger Heinrichs IV. gegen den aufständischen Adel, der in der Region vom Calatrava-Orden angeführt wurde. Der Tod ihres Sohnes ohne Erben ließ die Herrschaft an einen Seitenzweig der Familie Torres übergehen, der mit der Familie Peters I. von Portugal verbunden war. Philipp II. erhob sie zum Sitz einer Grafschaft, als er Don Fernando de Torres y Portugal 1576 zum Grafen von Villardompardo ernannte. Zwischen dem späten 16. und dem frühen 17. Jahrhundert erfolgte die Umwandlung der Burg in einen Palast, als gewöhnlichen Wohnsitz der Grafen. Ihre Nachfolger jedoch verlegten ihren Wohnsitz an den Hof nach Madrid, was einen durch mangelnde Instandhaltung bedingten Verfallsprozess einleitete. Die Abschaffung der Majorate unter der Herrschaft Ferdinands VII. zwang zur Aufteilung des Erbes, wodurch die Burg Villardompardo von der Hauptlinie des Adelsgeschlechts getrennt wurde. Ende des 19. oder Anfang des 20. Jahrhunderts wurden die im 16. Jahrhundert errichteten Gebäude abgerissen, sodass nur die Umfassungsmauern übrig blieben; die Fläche wurde eingeebnet und in die Nordmauer wurden Sitzstufen gehauen, um die Anlage vorübergehend in eine Stierkampfarena zu verwandeln. Die Burg war zwischen 2012 und 2023 Gegenstand verschiedener Notfallsicherungsmaßnahmen, archäologischer Ausgrabungen und Restaurierungsarbeiten.