Fue diseñado por el arquitecto Juan de Villanueva, pero no con la intención de convertirlo en un museo de arte sino en un museo de ciencias. El rey aprobó el proyecto en 1785, pero la construcción del edificio estuvo paralizada desde el reinado de Carlos III hasta la Guerra de Independencia. La parte del edificio que estaba construída para entonces fue utilizada como cuartel de caballería así como de polvorín del ejército de Napoleón. A los destrozos provocados por el uso que se le dio entonces se le sumaron los robos de material que los madrileños cometieron para poder arreglar sus casas. Cuando Fernando VII decidió crear un museo con las obras de arte de la monarquía española, retomaron el proyecto de Villanueva. Las labores de construcción duraron diez años y otros cinco años las obras de decoración de exteriores. Sin embargo, el edificio pronto quedó escaso para poder albergar en él dignamente todas las obras de arte. En 1918 comenzaron la ampliación del edificio por la parte trasera. Las ampliaciones posteriores se realizaron durante las décadas de 1950 y 1960. En las últimas ampliaciones se adquirieron varios edificios que estaban alrededor. Uno de ellos es el llamado Casón del Buen Retiro, construído en 1637 para albergar en él un salón de baile para el palacio del monarca. Este edificio fue cedido al museo en 1971, para reunir en él una colección pictórica del siglo XIX que cuenta con más de 3.000 cuadros, junto con varias esculturas. En 1981 reunieron en el museo el llamado legado de Picasso, incluído el Guernica. Sin embargo, estas obras fueron trasladadas al Museo de Arte Contemporáneo Reina Sofia en 1992.