Se trata de un palacio urbano exento que se encuentra en la parte superior de Villa Suso. La fachada principal da al norte; la fachada trasera, a un patio interior; la del este, a la calle Fray Zacarías Martínez; y la del oeste, a la calle Correría.

El edificio, de planta rectangular, cuenta con dos plantas y está construido con mampostería gris. En los recercos de los vanos, en el pórtico principal y en las esculturas decorativas puede verse caliza blanca labrada, material también utilizado en la arcada de la fachada, en el patio interior y en la escalera. Recientemente se le ha añadido una planta más, de ladrillo. En la planta superior presenta una cornisa con decoración de cadenas.

En la fachada principal sobresale el pórtico plateresco, adintelado y con pequeñas columnas a los lados; en la parte de arriba dispone de un dintel moldurado asentado sobre ménsulas. Sobre la entrada presenta un friso con interesantes relieves. En los extremos del friso hay sendos leones que sostienen el escudo de armas de los fundadores de la casa solariega: los Esquivel y los Escoriaza.

El interior ha sufrido grandes transformaciones, pero debemos destacar el patio de arco doble y la escalera, ambos de época renacentista.

El palacio ha sido sede de numerosas instituciones y actualmente es propiedad de las Escuelas Diocesanas.