La ermita de Santa Elena alberga en su interior este museo dedicado a un conjunto arqueológico de la Época Romana, procedente de diversos yacimientos del Bajo Bidasoa: Santa María del Juncal, Cabo de Higuer, Minas de Arditurri y la propia ermita de Santa Elena.

En el subsuelo de la ermita se conservan las diferentes etapas de evolución del espacio: necrópolis romana de incineración, templo pagano de los siglos II y III, un lugar de culto cristiano en los siglos X y XI y la ermita actual.

En un recinto bajo el coro, acristalados y cerrados, se ubican los diferentes elementos expositivos, tales como paneles audiovisuales explicativos y objetos museísticos (cerámica de incineración, monedas, utensilios...) que muestran y explican la presencia romana en el Bidasoa en diversas facetas de la vida diaria. Además, puede observarse la necrópolis romana habilitada tras las excavaciones.