В древние времена это был квартал белого города, с XIV века именовавшийся Чертольем. В XVI столетии эта территория относилась к обширным владениям Государева конюшенного двора. Здесь, поблизости от Кремля, селилась московская знать: бояре, окольничьи, стольники. Известно, что территория нынешнего центра в XVII веке была частью двора П.Д. Скуратова, а в XVIII веке эта часть, полукольцом охватывающая церковь Св. Антипия, перешла во владение семьи Милославских.

Менялись хозяева, постройки разбирались за ветхостью, страдали в пожарах. Свой нынешний облик главный дом усадьбы и парк приобрели после пожара 1812 года. Действительный статский советник П.И. Глебов, знакомый семьи Пушкиных, крестный отец их третьего сына, Льва, выстроил к 1817 году деревянный ампирный особняк и разбил парк. Позади дома Глебова осталось хозяйственное строение, возможно, еще XVIII века, другое же строение, справа, появилось в 1820 году. Позже усадьба переходила к другим владельцам.

В 1913 – 1914 годах С.Н. Пастухов с левой стороны старого здания сделал двухэтажную каменную пристройку в стиле неоклассицизма. Архитектором был Н.С. Шуцман. К этому времени относится и ограда с изящными, в стиле модерн, столбами, увенчанными вазами.

После революции 1917 года в здании размещались детские учреждения. Весь ансамбль с окружавшим его садом частично сохранился, но к 80-м годам прошлого столетия его постройки обветшали. Долгое время они стояли заброшенными, пока не были переданы Государственному музею изобразительных искусств имени А.С. Пушкина.

ГМИИ им. А.С. Пушкина полностью реконструировал разрушавшуюся усадьбу, стараниями реставраторов сохранив обаяние старинной московской архитектуры. В ней разместился Центр эстетического воспитания детей и юношества «Мусейон», оснащенный самым современным оборудованием.