El barón era ciudadano suizo, por lo que durante muchos años dicha colección permaneció en Lugano, en su casa llamada "Villa Favorita". Quizás porque la quinta esposa del barón, Carmen "Tita" Cervera, era española, dejó prestados a España 800 cuadros de la colección para 10 años, que ahora se encuentran en el Palacio Villahermosa de Madrid. Para poder acoger la colección el gobierno español rehabilitó este edificio neoclásico de primeros del siglo XIX. Las obras están expuestas en orden cronológico, con el objeto de mostrar el desarrollo histórico. Las obras más antiguas son de pintores italianos primitivos, pero también hay obras renacentistas, de comienzos del barroco, realistas holandeses, impresionistas, post-impresionistas, expresionistas alemanes, etc. Entre las obras de artistas del siglo XX hay un buen número de cuadros de pintores estadounidenses.