La casa formaba parte del mayorazgo creado en 1571 por doña María Baltodano, esposa de don Gome de Cárdenas. Serán doña Elvira Cárdenas Baltodano y su esposo don Luis Valdivia Figueroa, caballero de Santiago, los que inicien la construcción de la citada casa.

Dos elementos de uso bien distinto conforman la casa de los Niños de don Gome: la casa solariega de los moradores y la caballeriza. En la fachada de la casa, construida en un plano más adelantado que el de la caballeriza, destaca su portada-torre, construida a diferencia de los demás elementos del conjunto en piedra arenisca. Portada-torre que fue construida en el segundo tercio del siglo XVII por don Gome de Valdivia, Cárdenas y Guzmán y doña Mayor Nicuesa y que se encuadra desde el punto de vista formal en el estilo barroco.

La fachada, retranqueada con respecto a la calle Maestra, está precedida por una espaciosa plaza, que fue pública hasta 1848, año que se anexionó a la casa y se cerró con un muro almenado con puerta y vanos de medio punto.

La portada almohadillada casi pasa desapercibida por la exuberante decoración, dos tenantes emplumados de acento indiano, la heráldica aplicada de forma reiterativa y una resaltada cornisa, como elementos más destacados. En su interior se conservan las caballerizas con parte de los pesebres, un patio porticado y la bodega.

Actualmente el edificio tiene un uso cultural, en él se encuentra el Museo Arqueológico Profesor Sotomayor, es sede de los cursos de la Universidad de Otoño de la Universidad de Jaén y la corporación realiza los plenos en el salón de las Caballerizas

Sótano. En este lugar ha sido construida una cripta que recibió el 4 de junio de 2002, los restos mortales de Andrés Segovia, cumpliéndose así su deseo de reposar en Linares, ciudad que le vio nacer.

Planta Baja. Además de los patios interior y exterior, la Sala de Música y el Salón de Actos, también se encuentran en esta planta baja el Despacho de la Presidenta y una sala destinada a Dirección y Oficinas.

Planta Primera. Dispone de salones, destinados a la Biblioteca, Archivo y Museo. En este último se encuentran instalados numerosos muebles, enseres y diversa documentación relacionada con el Maestro Segovia.

El arco de la portada de acceso al patio porticado de la Casa Palacio posee dos escudos nobiliarios, el de la izquierda se corresponde con los Ponce de León, mientras el derecho pertenece a los Condes de Garcíez, pues el cuarto conde fue Señor de Mengíbar. Este frente principal se corona con almenillas contemporáneas de piedra. Pasado el arco, se alza un bello patio, compuesto por galerías de tres arcos de medio punto, un tanto rebajados de ladrillo, que descansan en pilares. En el frente norte se alza la entrada principal de la casa con una portada sencilla a base de sillares en las jambas y un dintel con cruz en el centro y la fecha de 1.663.

En el año 1808 Casa Palacio se convierte en un espacio clave en el contexto de la Acción de Mengíbar. La casa sirvió de alojamiento para las tropas lideradas por el General Reding. En el actual comedor, podemos observar como el peso del armamento dañó la estructura del inmueble y se conservan grandes vigas de madera a modo de puntales.

La casa fue adquirida a finales del siglo XIX por la familia de la Chica. Los miembros de esta familia le otorgaron al inmueble el aspecto arquitectónico y decorativo que hoy posee. En la primera década de los 2000 la convierten en Hotel. Años más tarde, el Ayuntamiento de Mengíbar compraría el inmueble. 

El volumen construido, que descansa sobre sótano con bóvedas de piedra, es de dos plantas comunicadas por una escalera que arranca desde una esquina del patio. Los muros son de ripio y tapial de notable espesor; los forjados de rollizos y en la configuración del patio principal se emplearon jácenas de gran escuadría. El sistema de cubrición es también leñoso, con armaduras de parhilera y de limas bajo teja árabe.

En el centro de la construcción se sitúa el patio principal, existiendo otro secundario o huerto en la parte trasera. El patio principal, de planta cuadrada, se halla reducido visualmente de sus proporciones originales al añadírsele tabiques que permitieron proteger dos de las galerías y habilitar como habitación una tercera, quedando hoy solo expedita la panda norte. Como consecuencia de dichas modificaciones, se alteraron los elementos de madera entre los que destacan las grandes zapatas con decoración de volutas, espirales, cruces, etc. Son también de mencionar algunas puertas de casetones.

Del ángulo nordeste del patio arranca la escalera, de un solo tramo, cubierta por una media naranja decorada con florón central y sostenida por pechinas decoradas por pequeñas cabezas de querubines en yeso. La cima de la escalera ofrece en alzado doble arco de medio punto rebajado que separa un machón de fábrica.

La primera planta alberga estancias destinadas a dormitorios con conchas de yeso en los dinteles de entrada. En la segunda planta hay tres cámaras, entre las que destaca la que ofrece fachada a la calle Jardín, abierta con una galería de ocho arcos de medio punto.

La portada, situada bajo esa arquería, es alta y sobria y se conforma por sencillas pilastras toscanas que flanquean el vano adintelado.

En la planta baja, ventanales rectos y rejas, mientras que en la primera se abren balcones con bella rejería, obra probable de la familia de los Lopera, en la que predominan motivos geométricos y florales. Los vanos de la tercera planta se cierran con simples ventanas y rejas de hierro.

En el interior, azulejos de la casa Mensaque, de Sevilla, y una espléndida escalera en mármol blanco. En una de las fachadas laterales, un bello cierre da paso a un pequeño jardín con una fuente taza y vistas a la plaza de la Iglesia.