Романтическая история любви графа Шереметева и крепостной актрисы пересказывалась уже не раз. Талант и душевная красота этой удивительной женщины вызвали глубокий перелом в жизни богатого аристократа. Влияние П. И. Жемчуговой на Шереметева было так велико, что после ее смерти, выполняя завещание своей супруги, он всецело посвятил себя благотворительности. Николай Петрович основал в Москве знаменитый Странноприимный дом, пожертвовал немалые средства на по-мсщь бедным невестам и разорившимся ремесленникам. О том, сколько русских людей с благодарностью помянули имя крепостной актрисы и ее знатного супруга, свидетельствуют данные Русского биографического словаря: «В течение первых 60 лет существования Странноприимный дом в Москве сыграл видную роль в деле помощи бедным: в нем лечилось более 50000 человек, несколько десятков тысяч человек получили пособия, причем несколько тысяч бедных невест получили приданое, кроме того в богадельне ежегодно призревалось от 100 до 170 человек престарелых».
6 ноября 1801 года Н. П. Шереметев и П. И. Жемчугова тайно обвенчались в Москве, в приходе церкви Симеона Столпника, что на Поварской. В январе 1802 года они вернулись обратно в Петербург.
В Фонтанном доме к этому времени произошли новые значительные перемены. В самом конце XVIII века к южному флигелю здания были сделаны две новые пристройки. Одна из них представляла собой небольшое строение с расположенным во втором этаже Дуговым кабинетом. Другая — большой флигель с Галереей, Аван и Арьерзалами. Кроме того, в 1798—1799 годах были капитально отремонтированы все помещения церковного флигеля. В это время в доме работали два известных архитектора — Д. Кваренги и А. Н. Воронихин. Непосредственным исполнителем всех работ был крепостной Шереметевых— архитектор П. Ф. Аргунов.
А. Н. Воронихин в 1801 году получил гонорар в сумме 1000 рублей «за украшение комнат». Д. Кваренги еще в 1798 году был заказан проект Галерейного флигеля, предназначавшегося для «праздника по случаю объявления о браке Н. П. Шереметева и П. И. Жемчуговой».
По замыслу архитектора Галерейный зал делился на три части при помощи деревянных перегородок, которые устанавливались «в мановение ока». Замена декораций могла производиться множество раз, к большому удивлению зрителей. Новый зал предназначался для устройства театральных представлений. Он перекрывался сводом с куполом в центре и был украшен колоннами искусственного мрамора с золочеными лепными капителями и лепными барельефами.
Галерейному залу не суждено было послужить «драгоценной оправой таланту несравненной актрисы». П. И. Жемчугова умерла 23 февраля 1803 года, через три недели после рождения сына — Дмитрия. После смерти супруги Н. П. Шереметев возвратился в Москву. Зажимаясь устройством Странноприимного дома, он лишь ненадолго приезжал в Петербург. В один из таких приездов, 2 января 1809 года, Николай Петрович скончался в доме графини Потемкиной на Фонтанке. Его собственный дом в это время отделывался для праздника в честь приезда прусского короля.
На этот раз для руководства строительными работами опять был приглашен А. Н. Воронихин. Архитектор не ограничился переделкой нескольких каминов и печей, как предполагалось ранее. В «указе» о выдаче денег на расходы по перестройке Фонтанного дома от 29 июля 1808 года имеется следующая запись: «Подтверждается канцелярии, чтоб вообще не препятствовали господину Воронихину когда что им переделываться будет, хотя бы в канцелярию не дано было знать». Зодчему предоставлялась полная свобода действий, без постоянной опеки хозяев.
