El palacio Agirre se encuentra en la mejor zona de Deba, junto al río y a la carretera que va de San Sebastián a Bilbao. Cuenta con planta baja y tres plantas más, y en los alrededores hay jardines, aparcamientos, etc.

Se trata de un edificio exento, con planta en forma de "L" y aparejo de sillería y mampostería enyesada. La fachada principal, que queda en pendiente, presenta planta baja y dos plantas más. Tiene una gran puerta de entrada en pleno centro y ventanas enrejadas en ambos laterales. Sobre la puerta hay otra entrada, a la que se accede por una pasarela cubierta que antaño unía la primera planta y la huerta, pero que en la actualidad va unida a un puente de hormigón que hay sobre la carretera. En la fachada principal son dignos de mención un balcón con parapeto, varias ventanas -muchas de ellas enrejadas- y un escudo de armas de estilo barroco. En la parte superior dispone de un alero de madera y una cornisa, muy trabajadas.

En la fachada trasera hay una solana de cristal y madera formada por cinco arcos de medio punto. Una de las fachadas laterales presenta una magnífica galería de madera, cerrada antaño por cristales de colores que han desaparecido. En el interior hay muchos muebles, de gran calidad; también hay un gran zaguán con muebles antiguos, una gran biblioteca, un comedor con una chimenea construida con mármol de Carrara, sillas, mesas especiales y una sala de billar (con sus correspondientes muebles). También pueden verse lámparas, arcones de madera tallados, recipientes decorados con imágenes e incrustaciones de bronce, así como un gran salón rojo en cuyo techo hay un artístico artesonado, sofás, sillones, sillas de roble (talladas, tapizadas en rojo), espejos, candeleros...