El Palacio Ipeñarrieta se encuentra en la ladera sur del monte Irimo, antes de llegar a la ermita de Santa Bárbara, ascendiendo por el sinuoso camino que arranca en Urretxu. Fue construido por Cristóbal de Ipeñarrieta a comienzos del siglo XVII, simultáneamente con otro edificio (la actual casa consistorial) en el casco histórico de Urretxu. Cristóbal de Ipeñarrieta era secretario en la corte del rey Felipe III y recibió el título de Conde de Mora.

El palacio es un edificio exento, de planta cuadrada. Cuenta con planta baja, primera planta y desván, pero, como está en pendiente, tiene una altura más (semisótano) en dos de los cuatro lados. Por otra parte, en el centro del edificio se levanta un cuerpo de menor tamaño que sobresale del tejado y que define la estructura de la caja de escaleras. Los muros de las fachadas principal e izquierda son de sillería, y el resto, de mampostería. Presenta trabajo de sillería en vanos, esquinales e impostas.

La fachada principal es la más interesante. Se distribuye en cinco ejes de vanos, de los cuales el central, la entrada, es el más importante. La puerta de acceso es adintelada y está de provista de dovelas escalonadas y almohadilladas. Encima, hay dos magníficos escudos de armas de mármol blanco con la siguiente inscripción: "Soli Deo Honor et Gloria" ("Honor y gloria sólo a Dios"). Los vanos superiores presentan destacables trabajos de talla, y también cabe mencionar que tienen lóbulos a modo de marco.

El elemento interior más importante es la escalera, construida con mármol de Carrara. La altura del palacio es similar a la de los edificios torreados de Gipuzkoa, pero no tiene nada que ver con los de las zonas rurales, ya que su diseño general es más del estilo de los edificios urbanos.