Se trata de un edificio exento, de planta cuadrada y con cubierta a cuatro aguas. La planta del edificio es algo más grande que la original, al menos en dos lados, ya que se llevaron a cabo trabajos para dar más profundidad al edificio, lo cual se evidencia en las diferencias que hay en los materiales utilizados.

La fachada principal del palacio está ante el río Herrerías, en la orilla derecha. Tiene planta baja, primera planta y desván. En dicha fachada principal se aprecian claramente los vestigios de los cambios que se han realizado en estos siglos, según los gustos y tendencias arquitectónicas de cada época.

En la planta baja se encuentra la entrada principal, adintelada y un poco ladeada. Sobre ella, hay un complejo conjunto formado por tres escudos de armas: el que está en el centro tiene un casco en la parte superior, y dos leones a los lados. Se trata de los blasones de las familias Ibarguen, Velasco, Terreros, Sierra y Aranda.

En esa misma fachada principal destacan por encima de todo dos pequeños vanos, que son de gran calidad. La parte superior de la fachada principal está muy modificada, ya que ha sido retranqueada unos 40 cm, y desde su misma base arranca el armazón (compuesto de madera, vigas y viguetas) que compone el esqueleto de la parte exterior. En esa misma parte, pueden verse tres arcos conopiales.

El desván tiene un gran voladizo por todo el contorno de la fachada principal, protegido por un alero que sobresale mucho.

El palacio está construido con mampostería, y presenta arenisca labrada en las esquinas y en los marcos de los vanos, mientras que en las fachadas laterales, a la altura del desván y en el elemento adosado a la fachada trasera se ha utilizado un entramado de ladrillo grueso.