Историю Отдела можно начать с момента основания Музея. К самой ранней ее части относится собрание слепков. Уже в 1909 г. в Музее формируется фонд живописи, основу которому положили итало-византийские памятники. Существенное пополнение коллекции Музея памятниками живописи и культуры привели к тому, что в 1924 г. в Музее были сформированы Отдел картинной галереи и Отдел скульптуры, который хранил оригиналы и слепки. В период с 1925 по 1930-е гг. в Музей поступили замечательные произведения западноевропейской живописи из коллекции Эрмитажа. В разное время Отдел картинной галереи возглавляли такие видные ученые, как Н. И. Романов, В. Н. Лазарев. Два отдела просуществовали до 1939 г., когда был создан единый Отдел западноевропейского искусства, чьим руководителем была назначена К. М. Малицкая.
В состав хранения Отдела вошли коллекции живописи, европейской скульптуры, слепков и декоративно-прикладного искусства. В связи с тяжелым военным временем привычная работа Музея была нарушена, вывозились и возвращались коллекции, полномочия и обязанности одних отделов передавались другим. Все это потребовало в 1945 г. введения нового штатного расписания, и Указом СНК СССР от 8 августа 1945 г. был образован Отдел искусства западноевропейских стран и Америки. Но уже в 1946 г. Отделу вернули его старое название — Отдел западноевропейского искусства. В 1948 г. на хранение Отдела поступили памятники из расформированного ГМНЗИ. Новое изменение названия Отдела в связи с поступлением большого числа памятников из социалистических стран Европы, Латинской Америки и США произошло в 1965 г. — Отдел искусства стран Европы и Америки. Это название просуществовало до 2007 г. Когда, с целью расширить экспозицию Музея, в 2006 г. в отдельном здании открылась Галерея искусства стран Европы и Америки, туда перешли на хранение и ее экспонаты, в связи с чем название было изменено на Отдел искусства Старых мастеров.
На сегодняшний день хранение Отдела насчитывает 9 206 экспонатов, среди которых уникальные произведения живописи, скульптуры и декоративно-прикладного искусства.