Según la leyenda, el castillo fue construido por Sancho Abarca y ampliado y fortificado por Sancho el Fuerte. No obstante, parece más probable que fuera Sancho VI el Sabio quien acometiera dichos trabajos en su reinado de 44 años (1150-1194). Las obras que darían al castillo su aspecto definitivo se iniciaron en tiempos de los Reyes Católicos y se finalizaron durante el reinado de Carlos V. En este castillo se alojaron, entre otros, Joan Ganboa, el señor de Zarautz, los señores de Javier y Loiola (hermanos de los dos santos), el almirante Okendo (cumplió condena en el castillo), el Gran Duque de Alba y Garcilaso de la Vega... Algunos reyes (Carlos V, Felipe III, Felipe IV) y reinas de España también estuvieron en el castillo (Isabel de Valois e Isabel de Borbón), al igual que varias reinas de Francia (Leonor de Austria y Ana María Teresa de Francia).

El Estado vendió el castillo, muy barato, a un particular, que, posteriormente, se lo vendió al Ayuntamiento de Hondarribia en 1928. En 1966, por decisión del Ayuntamiento, pasó a manos del Estado para convertirse en hotel de alta categoría (fue inaugurado en 1968).

El castillo se encuentra en el lugar más alto de la localidad y su fachada principal da a la Plaza de Armas (concretamente, cierra uno de los lados de la plaza), que, antaño, era utilizada por las tropas. El edificio es de planta cuadrada, con fachadas lisas; los muros N, O y S tienen tres metros de grosor, mientras que el muro este, que corresponde al palacio, es de dos metros. Cuenta con bóvedas de piedra, que sostienen a una amplia plataforma o terraza en la que antaño se ubicaban diez piezas de artillería.

La fachada principal es lisa, ocupada en su mayor parte por un muro de sillería. Cuenta con una línea formada por pequeños arcos de medio punto -dos a cada lado de la puerta y otros dos sobre ella?; las ventanas rectangulares son de construcción posterior. A pesar de ser bastante pequeño, el soportal resulta muy llamativo, ya que es de gran belleza. Sobre el acceso, está el escudo imperial, con el águila de dos cabezas.

La fachada N estaba ocupada por el parque de artillería y los almacenes de pólvora, pero actualmente no quedan más que unos vestigios de la antigua construcción. La fachada S da a la iglesia, y está muy bien conservada, sobre todas las partes del castillo ocupadas por el cuerpo de guardia y las caballerizas. Sobre una ventana de esa fachada, que fue antaño puerta, hay un elemento decorativo, similar al del soportal de la fachada principal.

En el interior, se percibe el ambiente de tiempos pasados: estandartes, cañones, muebles antiguos o de aspecto antiguo...