Следующим владельцем усадьбы был один из сподвижников Петра I, родственник царицы Натальи Кирилловны Нарышкиной, Гаврила Иванович Головкин, государственный канцлер, возглавлявший Посольский приказ и Коллегию иностранных дел.
Его сын Михаил, к которому перешла усадьба на Яузе после смерти отца, пользовался влиянием при дворе, но после дворцового переворота 1741 г. и восшествия на престол Елизаветы Петровны был обвинен в измене, лишен всего своего имущества и сослан в Якутию, где провел более 30 лет, до самой кончины. Вместе с ним в ссылку отправилась его верная жена, крестница Петра I и внучка князя-кесаря Федора Ромодановского, возглавлявшего Преображенский приказ. Верная супруга отказалась отречься от мужа в обмен на богатство и положение при дворе и поддержала опального мужа.
Усадьба была конфискована и перешла в казну. Ею распорядилась взошедшая на престол Елизавета Петровна, подарив ее своему фавориту, Алексею Григорьевичу Разумовскому, очаровавшему веселую императрицу своей красотой и прекрасным голосом.
Орхидея. Именно у графа Разумовского появились первые в России эти дивные цветы
Граф очень серьезно занимался ботаникой, у него была лучшая коллекция экзотических растений, именно у него появились первые в России орхидеи. В теплицах графа были выращены до тех пор неизвестные растения из породы вискустов, названные в честь графа «Rasoumovia». За растениями ухаживали специально выписанные из Европы садовники. Современники утверждали, что его богатейшие оранжереи, в которых росли редчайшие растения, вывезенные с Кавказа, Урала, Сибири, были лучшими в Европе. Так померанцевая оранжерея, тянувшаяся на версту, содержала более 500 огромных померанцев. Поговаривали, что невежественные крестьяне, впервые увидев апельсины и померанцы, решили, что сказочно богатый вельможа украсил деревца полновесными золотыми шарами. Слухи о невиданном саде вскоре достиг до Петербурга, и в 1818 году царский двор посетил графа-отшельника в его роскошной усадьбе, чтобы осмотреть его богатейшие ботанические сокровища.