El Palacio Larrako fue construido por el capitán Juan Ugarte, nacido en Lezama en 1601, quien, tras regresar de las Indias, participó en las guerras habidas en Cataluña. El palacio es uno de los mejores edificios del lugar, y es un buen ejemplo del estilo surgido en la época de transición del Renacimiento al Barroco.

Es un edificio de gran tamaño: los muros son de mampostería, con sillería en los ángulos, en los vanos y en las impostas que marcan la divisoria entre plantas.

En la planta baja de la fachada principal hay una arcada compuesta por arcos de medio punto que se asientan sobre pilastras. En la arcada hay dos ventanas y una entrada, sobre la que está el escudo de armas. En la primera planta dispone de cinco balcones, todos a ras de pared, excepto el central. Sobre el balcón central puede verse el escudo de armas del palacio. En la segunda planta, por su parte, hay cinco ventanas adinteladas.

En el resto de las fachadas dispone de impostas y muchos huecos, distribuidos bastante regularmente, si bien no es lo habitual en ese tipo de edificios.

El palacio está rodeado por un jardín, y también dispone de una gran muralla de piedra. La muralla presenta cubos cilíndricos y la puerta de entrada tiene el aspecto de un arco del triunfo (esa puerta también dispone de cubos).

Junto al palacio hay un pozo de agua.