Необычно сложилась дальнейшая судьба хозяйки этих великосветских балов. Выйдя замуж в ранней юности по воле родителей, она кружилась в вихре развлечений, но натура Александры Кирилловны была глубже и богаче окружающей жизни. С годами светская суета перестала ее удовлетворять, хотя внешне ничто не менялось. Это сумел угадать Иван Сергеевич Тургенев, видевший графиню Воронцову в 40—50-х годах. Ее образ подсказал писателю черты княгини, в романе «Отцы и дети»: «Она слыла легкомысленную кокетку, с увлечением предавалась всякого рода удовольствиям, танцевала до упаду, хохотала и шутила с молодыми людьми, которых принимала перед обедом в полумраке гостиной, а по ночам плакала и молилась, не находила нигде покою и часто до самого утра металась но комнате, тоскливо ломая руки, или сидела, вся бледная и холодная, над псалтырем. День наставал, и она снова превращалась, в светскую даму, снова выезжала, смеялась, болтала и точно бросалась навстречу всему, что могло доставить ей малейшее развлечение».
В 1854 году умер И. И. Воронцов-Дашков. Александра Кирилловна вскоре вышла замуж за доктора-француза, именовавшего себя бароном де Поили (или де Поалье), вызвав этим немалое смятение в свете и осуждение всех близких, и уехала с ним в Париж, где, по слухам, умерла, обобранная и брошенная им, в больнице для бедняков. Эти слухи, по-видимому, дошли до Петербурга и широко обсуждались. В 1856 году Николай Алексеевич Некрасов написал стихотворение «Княгиня», которое современники связывали с судьбой А. К. Воронцовой-Дашковой.
Немец-управитель, без большой печали, Продал за бесценок, в силу повеленья, Английские парки, русские селенья, Земли, лес и воды, дачу и усадьбу... Получили деньги — и сыграли свадьбу...
А потом уехал — словно канул в воду! Скорбная, больная, гасла больше году В нищете княгиня... и тот год тяжелый Был ей долгим годом думы невеселой! Смерть ее в Париже не была заметна: Бедно нарядили, схоронили бедно...
В своих воспоминаниях Авдотья Яковлевна Панаева рассказывает, что приезжавший в Петербург по делам наследства доктор-француз собирался стреляться с Некрасовым за эти стихи.
В конце 1850-х годов в доме Воронцовых-Дашковых, арендованном гофинтендаитской конторой, жил младший сын Николая I — Михаил Николаевич, для которого недалеко на Дворцовой набережной по проекту архитектора А. И. Штакеншнейдера был построен Новомихайловский дворец (Дворцовая наб., 18).
В 1860 году дом Воронцовых-Дашковых был куплен казной и стал «Запасным домом» дворцового ведомства. В описях гофинтендантской конторы он числился как «каменное строение в 3 этажа с подвальным этажом и надворными флигелями». Парадными в доме были второй и третий этажи. Во втором этаже находилась столовая с мебелью из дуба с бархатной обивкой, библиотека и кабинет, Желтая и Зеленая гостиные, спальни и туалетные комнаты. Третий этаж занимали «бальная зала» и две комнаты, где на стенах был натянут белый шелк с цветами и позолоченным рисунком; Амарантовая гостиная, Лиловый кабинет, круглый зал и зал с колоннами. Во всех помещениях была разнообразная и очень нарядная отделка — мраморные камины, бронзовые люстры, зеркала; красное дерево, орех, амарант; шелка и бархат — в обивке мебели.
