Este conjunto arquitectónico se encuentra un poco alejado del núcleo urbano. Consta de una torre, una iglesia y un parque construidos a finales del siglo XIV y comienzos del XV. El conjunto fue construido por los Varona, linaje que ha vivido en él hasta nuestros días. Los Varona han sido una familia importante en el valle desde el siglo XVI, y también han contado con un gran prestigio en Castilla. De los conjuntos fortificados que hay en Álava, éste es el mejor conservado. Fue rehabilitado por la Diputación Foral de Álava en 1996.

El palacio está adosado a la torre por el norte y por el este. Presenta dos líneas de defensas: por una parte, la muralla y el foso de protección, y por otra, la que estaba en la zona norte y este, actualmente desaparecida.

Al edificio se accede por la puerta Sur; la puerta presenta un arco apuntado provisto de dovelas. Según parece, antaño la entrada estaba en otro sitio, y también se construyeron accesos levadizos.

La torre es de mampostería, con sillería en los ángulos; presenta una estructura cuadrada, de unos 10 m x 10 m. Cuenta con planta baja y tres plantas más, y presenta almenas en la parte superior. La cubierta es a cuatro aguas. Tiene dos matacanes, para proteger la torre, y pocos vanos de iluminación. Hay dos ventanas gemelas muy destacables, en arco apuntado y talladas en tres secciones.

Actualmente, la torre tiene incorporada las plantas baja y primera al palacio; en la segunda planta, a la que se accede por el palacio, hay una escalera que baja hasta los dos pisos inferiores y sube hasta las almenas. Esta escalera es reciente y, por tanto, de diseño actual. La estructura de la cubierta es metálica.

En el zaguán del palacio, que sirve de acceso al palacio y al patio central, destaca la decoración del solado: una flor de doce pétalos formada por cantos rodados.

La primera planta dispone de lo que era la parte principal de la vivienda de los Varona, espectacular por sus elementos decorativos y mobiliario. La estancia más destacable es la sala del Quijote, con el suelo revestido de cerámica de Talavera del siglo XVII, elaborada expresamente para esta estancia con escenas relacionadas con el Quijote. Las paredes se encuentran revestidas con papeles pintados del mismo tema. En otra de las salas se representa una alegoría, en blanco y negro, de las provincias de España, los medios de transporte, las formas de diversión de la época, las actividades económicas, las relaciones comerciales con América y África... El dormitorio está en la torre, presenta solado de madera y dispone de mobiliario interesante.

La segunda planta, desde la que se accede a la parte alta de la torre, dispone de almenas, que son las únicas ventanas de iluminación.

El conjunto también cuenta con una iglesia, de nave única y cabecero triangular. Los muros son de sillarejo. Ocho contrafuertes de sillería refuerzan las esquinas. Parece ser que se construyó en el siglo XVI. Existen una serie de añadidos, de los que destaca la escalera de subida al campanario. También llama la atención la torre, con un chapitel cubierto de cinc, construido posteriormente.

El jardín anexo, al igual que el patio, se encuentra delimitado por un cierre compuesto por una reja de hierro forjado con una secuencia de pilastras de piedra. Dispone de dos puertas de acceso, también de forja, y unos caminos que lo recorren. En el centro hay una fuente de piedra.