В 1864 году строительная контора императорских дворцов объявила конкурс на составление проекта перестройки трех принадлежавших дворцовому ведомству зданий — «Запасных домов» (бывшего дома Воронцовых-Дашковых, ныне дом № 30, и бывшего дома Каратыгиной, ныне дом № 28) и «Запасного дворца» (ныне Дом ученых, дом № 26). Они предназначались для сыновей Александра II, для размещения придворной конторы, ведавшей имуществом и расходами царских детей, а также роты дворцовых гренадеров. Для этого требовались значительные средства. Министр внутренних дел и уделов Л. А. Перовский писал министру двора В. А. Адлербергу: «...финансы наши находятся далеко не в цветущем состоянии, и скрывать это от государя императора... было бы вредно. Живым примером тому, как обременительны великолепные здания, служат великого кпязя Николая (ныне Дворец труда.— Л. Б.) и Михаила Николаевича (уже, упомянутый Новомихайловский дворец, Дворцовая наб., 18.— Л. Б.), которые, конечно, согласились бы иметь помещение гораздо скромнее. Мне кажется, что если такой дом, как дом графа Воронцова, обновить и сделать в нем некоторые украшения и необходимые перестройки, то им мог бы воспользоваться один из великих князей. То же применяется и к Запасному дворцу. Можно было бы еще переделать дом Каратыгиной для великого князя Алексея Александровича, потому что все три дома почти одинакового объема».
Составление проектов перестройки было поручено архитектору Александру Ивановичу Резанову, академику архитектуры, профессору и ректору Академии художеств, занимавшему должность старшего архитектора департамента уделов. По его проекту в 1867 году началось строительство новой великокняжеской резиденции на месте «Запасного дворца» (ныне Дом ученых). Дворец вначале предназначался для Александра Александровича — будущего императора Александра III. Но после того, как умер старший сын Александра II — Николай Александрович, Александр, как наследник, занял Аничков, дворец, уступив строящееся здание Владимиру Александровичу. А бывший дом Воронцовых-Дашковых был отдан самому младшему, царскому сыну — Алексею Александровичу, для которого по проекту архитектора М. Е. IvJecMaxepa в 1880-х годах был построен новый дворец на берегу реки Мойки (наб. Мойки, 122),
Дом Воронцовых-Дашковых капитальной перестройке тогда не подвергался, но отделка парадных помещений, вероятно, была обновлена.
