El pueblo de Elorrio es uno de los conjuntos arquitectónicos más interesantes del País Vasco. Merece especial mención su arquitectura civil, y más concretamente, la arquitectura residencial.

El palacio conocido como Tola o Gaytán es uno de los que destacan entre los magníficos edificios residenciales de época barroca. Es un palacio espléndido, cúbico, que se encuentra al final de la calle San Juan, en una zona que cuenta con un pequeño jardín conocida con el nombre de Urkizaran.

Fue construido hacia 1680. De líneas diáfanas, sobrias, puede decirse que está próximo a la corriente barroca de poca ornamentación. Es un edificio de tres plantas, construido en sillería de un magnífico color rojo oscuro. A pesar de la época en la que fue erigido, lo construyeron al estilo de los palacios-castillo (torres-fortaleza): los cubos abarcan todos los ángulos del edificio, y tienen pináculos en la parte superior, que son el elemento más significativo de la imagen exterior.

En la fachada izquierda, hay una galería de tres arcos sobre postes. Ese tipo de galería también puede verse en otros edificios del pueblo; por ejemplo, en la casa-palacio Jara.

En la fachada principal destacan la entrada y, sobre todo, los balcones de hierro de la planta noble, que son también elementos característicos de la imagen exterior. En el centro de esta fachada hay un escudo de armas.