Музей создавался на основе Кабинета (Музея) изящных искусств и древностей Московского университета как учебно-вспомогательный и публичный, где в гипсовых слепках, макетах, живописных и гальванокопиях по единой научной программе были представлены основные этапы истории искусства классических народов с древних времен до Нового времени. В этом качестве Музей становился первым в России учреждением такого типа. Проекты создания подобного музея в Москве неоднократно излагались в печати: кн. З.А. Волконской и С.П. Шевыревым (1831), проф. К.К. Герцем (1858), директором Московского Публичного и Румянцевского музеев Н.В. Исаковым (1864).

Инициатором создания (1893) и первым директором Музея (1911–1913) был заслуженный профессор Московского университета, доктор римской словесности и историк искусства И.В. Цветаев (1847–1913). Замысел Цветаева развивал основные идеи предшественников.

Объявленный в конце 1896 года конкурс на лучший проект здания музея привлек 19 архитекторов из разных городов России. Правлением Университета был избран в качестве строителя один из участников конкурса, получивший золотую медаль, московский архитектор Р.И.Клейн (1858–1924). Им был выработан окончательный вариант проекта, отвечавший требованиям Правления и Комитета для устройства Музея изящных искусств при Московском университете. Здание строилось по последнему слову музейной практики и строительной техники. Спроектировано оно было по типу античного храма на высоком подиуме с ионической колоннадой по фасаду. Во внутреннем убранстве сочетаются элементы разных исторических эпох сообразно представленным экспонатам. В сооружении участвовал инженер И.И. Рерберг.