В гостях у Воронцовых-Дашковых бывали многие петербургские литераторы. Посещал этот дом и Александр Сергеевич Пушкин. Он был в дружеских отношениях с Иваном Илларионовичем — они нередко, беседуя, прогуливались по Невскому проспекту. 23 января 1837 года на балу в этом доме были Пушкин с Натальей Николаевной и Дантес с Екатериной Гончаровой, только недавно обвенчавшиеся. Дантес отпустил по адресу Натальи Николаевны одну из своих «армейских» острот. Петр Андреевич Вяземский, рассказывая о состоянии Пушкина в те дни, упоминает об этом: «Бал у Воронцовых, где, говорят, Геккерен был сильно занят Пушкиной, еще увеличил его раздражение. Жена передала ему остроту Геккерена».
Александра Кирилловна была в числе немногих, современников Пушкина, кто предчувствовал возможность трагической развязки. В роковой день дуэли Пушкина с Дантесом она возвращалась домой с гулянья на островах и «встретила Пушкина, едущего на острова с Данзасом, и направляющихся туда же Дантеса с д'Аршиаком. Она думала, как бы предупредить несчастие, в котором не сомневалась после такой встречи, и не знала, как быть. К кому обратиться? Куда послать, чтобы остановить поединок? Приехав домой, она в отчаянии говорила, что с Пушкиным непременно произошло несчастие, и предчувствие девятнадцатилетнего женского сердца не было обманом».
В 1839—1840 годах частым гостем в доме Воропцовых-Дашковых был Михаил Юрьевич Лермонтов, возвратившийся из ссылки за стихи, написанные на смерть Пушкина. Скорее всего, ввел его в этот дом его родственник Алексей Аркадьевич Столыпин («Монго»), увлеченный Александрой Кирилловной. Лермонтов в стихах создал ее портрет. Стихотворение, названное поэтом вначале «Светская женщина», связано с портретом графини Воронцовой-Дашковой, литографированном в 1840 году в Париже Г. Граведоном.
Как мальчик кудрявый резва, Нарядна, как бабочка летом; Значенья пустого слова в устах ее полны приветом.
Судьба хозяйки великосветских балов в старинном доме
