Juan de Villanueva arkitektoak diseinatu zuen, baina ez arte-museo izateko natur zientzietako museo izateko baizik. Egitasmoa 1785ean onartu zuen erregeak. Karlos III.aren erregealditik Independentziako Gerra bitartean eraikuntza geldituta egon zen. Ordurako egina zegoena zalditeriako kuartel eta bolborategi gisa erabili zuen Napoleonen armadak. Erabilera horrek eragin zizkion kalteei gero madrildarrek euren etxeak konpontzeko egin zituzten material-lapurretak gehitu zitzaikien. Fernando VII.ak Espainiako monarkiak zeuzkan arte-lanekin museo bat sortzea erabaki zuenean, Villanuevaren egitasmoari berriz heldu zioten. Hamar urte iraun zuten eraikuntza-lanek eta beste bost kanpoaldearen apainketak. Laster geratu zen, ordea, eskas etxea, zegoen hainbat arte-lan duintasunez gordetzeko. 1918an zabalkuntza bati ekin zitzaion atzealdean. Hurrengo zabalkuntzak 1950eko eta 1960ko hamarkadetan egin ziren. Azkeneko zabalkuntzak inguruko eraikin batzuk museotarako hartuz egin dira. Hauetako bat Casón del Buen Retiro deritzona da, 1637an eraikia, erregearen jauregi baten dantzalekutarako XVII. mendean egina. 1971n museoari eman zioten eraikina, 3.000 koadrotik gora dituen XIX. mendeko pinturen bilduma han jar zezan, hainbat eskulturarekin batera. 1981ean Picassoren ondarea esaten zaiona jarri zuten han, Guernica koadroa barne, baina 1992an Museo de Arte Contemporáneo Reina Sofía-ra eraman zituzten lan hauek.