Първата музейна сграда, в която се разполага Националната галерия, е Двореца. Днес в неговите зали се показват временни изложби на българско и чуждестранно изкуство.

Дворецът е построен непосредствено след Освобождението на България от османско господство (1878) и избирането на София за столица (1879).

Първият български княз Александър І Батенберг (1879-1886) възлага на виенския архитект Виктор Румпелмайер (1830-1885) да преустрои бившия турски конак. На 26 декември 1882 дворецът е официално открит. От предишната сграда са запазени каменните основи и част от главната фасада. Новият облик включва разнообразни архитектурни елементи в духа на модерната за времето смесица от неостилове. Пристроява се ново крило откъм северозапад. На втория етаж в него са тронната зала, бални салони, приемни, трапезария и зимна градина. На долния етаж са канцелариите на дворцовите служби. По думите на съвременници сградата придобила очарованието на френските дворци от времето на Просвещението. Днес в централния корпус и в това крило е разположена Националната галерия.

Вторият етап на строителство е по времето на княз Фердинанд І Сакс Кобург Готски (1887-1918). По проект на австрийския архитект Фридрих Грюнангер (1856-1929) през 1894-1896 е изграден триетажният североизточен корпус, предвиден за апартаментите на княжеската фамилия, с библиотека, учебни салони, стаи за игра и развлечения, трапезария и приемна, покрит вход за каляски и две зимни градини, апартаменти за гости, помещения за персонала, асансьор. В това крило се помещава Националният етнографски музей.

След 9 септември 1944 тази най-представителна сграда в столицата се превръща в седалище на Министерския съвет. През 1953 държавата предоставя бившия дворец на Националната художествена галерия и Националния етнографски музей.