Edificio de estilo renacentista que data del siglo XVII. A Baltasar Ximénez-Cerdán (1620), perteneciente a la Casa de los Ximénez-Cerdán, heredada en el siglo XVII por la Casa de Gurrea-Villahermosa, se le atribuye la construcción de este Palacio. La propiedad del mismo se sucede hasta el XVII duque de Villahermosa, que lo deja en herencia a su hija la marquesa de San Felices, llamada María de la Concepción Azlor de Aragón y Gullamas, quien lo vende al Ayuntamiento de Torres de Berrellén a un módico precio. Es entonces cuando tras su rehabilitación en 1986, pasa a ser sede del Ayuntamiento. Es sin duda un ejemplo típico de arquitectura aragonesa con su riguroso orden en la apertura de huecos y austeridad propia de este estilo arquitectónico.

De unos planos de principios de siglo XIX se desprende que el Palacio era casi el doble del actual, semejante al Palacio de la Duquesa de Villahermosa en Pedrola. La parte perdida, sirvió para añadirla al Palacio que tenía contiguo del siglo XVIII.