Durante el siglo XVII y hasta mitad del XVIII, el Palacio fue utilizado como Banco, prueba de ello son las dos inscripciones existentes en los muros del patio central.

A finales del siglo XVIII, el edificio fue adquirido por la Junta del Real Hospicio pasando este a la Beneficencia Provincial e instalándose en el mismo, el Hospicio de Mujeres.

A principios del siglo XIX se realizaron modificaciones al inmueble, entre las que se encuentra la remodelación de la puerta de entrada del Palacio, sustituyendo a la anteriormente existente y colocándose sobre su dintel una inscripción en mármol blanco orlada de piedra gris. 

Igualmente y, a ambos lados de esta inscripción, se situaron sendos escudos: a la derecha, el del Obispo Fray Benito Marín (1751-1769); y a la izquierda, el escudo de Castilla.

En 1868, cuando se suprimen las Juntas Provinciales de Beneficiencia, las funciones directivas y administrativas de los establecimientos benéficos pasan a ser competencia de las Diputaciones Provinciales, de esta forma, el edificio pasa a formar parte del patrimonio de la Institución Provincial.  Entre 1901 y 1903 se amplía el Hospicio, demoliendo a tal fin unas casas colindantes al Palacio. En dicha ampliación se incluye la construcción de una Capilla adyacente al edificio, inaugurada en 1903 bajo la advocación de “La Visitación”.

En 1939 el centro pasa a llamarse Internado de Santa Teresa y funciono como residencia de ancianos de ambos sexos y enfermos crónicos hasta la segunda mitad del siglo XX, de esta forma, con el traslado de los crónicos en 1971 a San Juan de Dios y el de los ancianos en 1972 a la nueva Residencia de Santa Teresa, el edificio se queda vacío. En esos años comienzan las obras de restauración de los Baños Árabes situados en los sótanos del Palacio así como la rehabilitación de todo el edificio, obras que finalizarían en 1984 y que fueron galardonadas ese mismo año con la Medalla de Honor de la Asociación Europa Nostra.

El patio central del Palacio está formado por un cuadrado de gruesos muros en el que se abren las ventanas y puertas de diferentes estancias. Dentro de este cuadrado se inscribe otro formado por una galería columnada en dos niveles, con tres columnas en cada lado y con un total de ocho columnas en cada uno de los dos niveles.

Para la construcción de la galería del nivel o planta inferior, el Orden elegido fue el Toscano aplicando arcos de medio punto muy ligeramente rebajados. Sobre las cuatro columnas de las esquinas descansan cuatro arcos: los dos mayores, forman el ángulo de la galería; los dos menores, están unidos al muro perimetral convirtiéndose en columnas “en palmera”, solución que había sido utilizada por el constructor musulmán que había realizado la gran Sala Templada de los Baños Árabes subyacentes. De igual modo, el arquitecto del Palacio utilizó una estructura constructiva idéntica a la utilizada en los Baños: para las columnas y los capiteles emplea la piedra y para los arcos y las enjutas el material elegido fue el ladrillo.

En cuanto a la galería del nivel o planta superior, aunque presenta un esquema similar al de la planta inferior, presenta modificaciones, ya que se eligió una variante del Orden Toscano. Tanto las columnas como los arcos son de menor altura que los situados en el nivel inferior. Actualmente, los intercolumnios de este nivel se cierran con una barandilla abalaustrada de madera.

Dispone de una interesante biblioteca gastronómica, y un entorno de ensueño para celebraciones, congresos, conferencias ó actos empresariales. Lugar de obligado paso para cenas de gala en congresos, ha acogido en los últimos años importantes eventos celebrados en la ciudad de Úbeda.

El museo, considerado Bien de Interés Cultural, se divide en varios espacios; tres edificaciones que albergan diferentes modelos de almazaras, un jardín de variedades de olivos de varios países y la Bodega.

A lo largo del itinerario de la visita se muestran los pasos para la obtención del aceite, desde los métodos más tradicionales de cultivo del olivo, hasta los modernos procesos de comercialización y envasado.

En el museo puedes conocer las características propias del aceite de oliva, valorar sus propiedades y profundizar en los diferentes aspectos que definen su calidad, gradación, color, etc. También puedes conocer físicamente las diferentes variedades de olivos, pues dispone de un jardín con árboles de cada variedad, pero merece especial atención, una bodega del siglo XIX conocida como "la Catedral del Aceite". Además, el complejo dispone de una sala para congresos con capacidad para 230 personas. Se realizan catas de aceites para grupos, degustaciones y otras actividades relacionadas con el olivar.