El Palacio Saroe se encuentra ante la iglesia de San Salvador, junto a un gran jardín, y está rodeado parcialmente por muros de mampostería y cercas de hierro.

El palacio Saroe es un edificio exento de planta cuadrada y con cubierta a cuatro aguas. Cuenta con planta baja y dos plantas más. La fachada principal es de arenisca labrada, con huecos distribuidos en seis ejes, organizados simétricamente.

Cuenta con un soportal en la entrada, con dos arcos carpaneles protegidos por una magnífica cerca de hierro que lleva talladas imágenes de astros en las enjutas. A ambos lados de los arcos, a su vez, hay dos ventanas enrejadas. Una platabanda decorada con rombos y una gran moldura sirve de separación entre la planta baja y la primera planta. Sobre la moldura están los balcones de la primera planta, tanto el balcón corrido que ocupa el eje central, como los dos balcones laterales. En los dos ejes restantes, pueden verse balcones con parapeto.

La segunda planta queda dividida de la primera por medio de una platabanda moldurada. En esta planta, los huecos son balcones con parapeto. En la parte superior presenta una cornisa construida con piedras molduradas, así como un alero de madera con canecillos tallados. En las esquinas y en los huecos puede verse un almohadillado, que embellece la fachada.

También cuenta con un escudo de armas en la segunda planta, en medio del muro, con la inscripción "Soi casa solar de Saroe". Los miembros de ese linaje tomaron parte en la batalla de las Navas de Tolosa, en 1212, y vencieron a los moros. Por eso, el escudo de armas cuenta con un cruz floreada, como el de la Orden de Calatrava.

El resto de las fachadas son más simples. En las laterales, dispone de ventanas y balcones con antepecho o parapeto, distribuidos de un modo bastante irregular. En la fachada trasera, por su parte, la distribución es diferente, ya que los huecos son balcones corridos, flanqueados por otros balcones con parapeto. La fachada trasera da a un gran jardín arbolado, que continúa hacia la derecha.