Este castillo se levanta sobre los acantilados de la bahía de Higuer, al final de un paseo, y, forma parte del conjunto defensivo de Hondarribia, junto con las murallas y el castillo de Carlos V.

Fue construido por Juan Velázquez, Capitán de Gipuzkoa, por recomendación de Felipe II. El ingeniero Felipe Cramer se encargó del emplazamiento y del diseño.

El muro exterior es de mampostería y presenta una entrada con arco escarzano en la parte delantera; sobre la entrada, a un lado, hay un magnífico garitón. Ese muro continúa rodeando al castillo por un lado, y podemos ver otro garitón similar al anterior. Las dos fachadas restantes no necesitan la protección del muro, ya que están encima del acantilado.

Una vez traspasado nos encontramos con el castillo, construido de arenisca labrada. Es de forma cúbica y está cegado. Junto a él, hay otro cuerpo, de menor altura que el anterior y que presenta una entrada sobre la que se puede ver el escudo de armas de Felipe II, con la siguiente inscripción: "Ad reprimenda pirrataru i latrocinio hoc San Telmi Castelu exituere mandauit. Anno Dom MDXVIII".

La parte trasera del castillo da al mar y está construida de mampostería y ladrillo; en la terraza, tiene una plataforma para la artillería.