Иван Илларионович женился в 44 года на Александре Кирилловне Нарышкиной, которой едва исполнилось 17 лет. А. С. Пушкин, находившийся в приятельских отношениях с ее родителями Кириллом Александровичем и Марией Яковлевной, в письме. Наталье Николаевне в Москву 30 апреля 1834 года сообщил новость: «Есть еще славная свадьба: Воронцов женится на дочери К.-А. Нарышкина, которая и в свет еще не выезжает». Через год Александра Кирилловна родила дочь Ирину, а в 1837 году — сына Иллариона.
Илларион Иванович Воронцов-Дашков будет жить в доме на Английской набережной (ныне наб. Красного Флота, 10). За этим домом в литературе о Петербурге утвердилось название «дома Воронцовых-Дашковых». А Ирине Ивановне Воронцовой принадлежал дом на нынешней Дворцовой набережной, о котором идет у нас речь. В нем жили Иван Илларионович и Александра Кирилловна, что подтверждается разными документами — табелями домов, адресными книгами, объявлениями в «Санкт-Петербургских ведомостях».
К 30-м годам XIX века фасад, выходящий на Неву, изменился в соответствии с архитектурными понятиями времени. О его облике можно судить по акварели JK. П. Бегрова «Набережная Невы у Старого Эрмитажа и Эрмитажного театра», хранящейся в Государственном Эрмитаже. Исчезли пилястры, филенки и высокое крыльцо, характерные для XVIII века. Надстроен третий этаж. Перед нами классический особняк желтого цвета с балконом в центре второго этажа и треугольным фронтоном. Можно предполагать, что интерьеры дома отличались нарядностью, не случайно дом оценивался в 160000 рублей. В 1832 году И. И. Воронцова подает прошение в Комитет строений и гидравлических работ о строительстве каменных флигелей во дворе. Двухэтажный флигель на Миллионной улице (ныне дом № 31 по ул. Халтурина) использовался как доходный. В 1810-х годах Воронцова сдавала его для размещения половины роты Преображенского полка. Сложилось мнение, что на аристократической Миллионной улице не было торговых предприятий. Однако 1 февраля 1829 года в «Санкт-Петербургских ведомостях» напечатано было объявление о том, что «Карл Нольде открыл в Большой Миллионной улице, в доме № 1 графини Воронцовой (в первой трети XIX века нумерация на Дворцовой набережной начиналась от Зимнего дворца.— Л. Б,), магазин для продажи хрусталя, галантерейных товаров, курительного табака, гаванских сигар, благовоний».
