П. Б. Шереметев известен как коллекционер, приобретавший редкие минералы и другие раритеты для собственной кунсткамеры. Он покупал «бюсты эллинских богов» и картины мастеров западноевропейской живописи; многое сделал для воспитания собственных, российских талантов. Его крепостные актеры, музыканты, художники и архитекторы внесли значительный вклад в развитие отечественной культуры. Меценат и рачительный хозяин, П. Б. Шереметев организовал в своих вотчинах школы для обучения крепостных «наукам, которые по дому нужны». Он же был одним из немногих русских аристократов, высказавшихся за отмену крепостного права еще в конце XVIII века. Заботясь о чести своей фамилии, Петр Борисович собрал и издал бумаги своего отца, бережно хранил связанные с его памятью реликвии.
Судя по всему, Шереметев, вступив в права наследства, сначала не проявлял большого интереса к загородному имению, расположенному на Фонтанке. В 1738 году он даже намеревался продать его графу М. Г. Головкину «в дачу», но не сговорился с покупателем о цене. Оказалось более выгодным сдавать внаем находившиеся при усадьбе огород и сад, что вскоре и было сделано.
Желание заново перестроить дом на Фонтанке возникло у Петра Борисовича, вероятно, в связи с начавшимся неподалеку возведением летнего дворца императрицы Елизаветы Петровны (находился на месте Михайловского замка). Чин «действительного камергера», пожалованный графу П. Б. Шереметеву принцессой Анной Леопольдовной в январе 1741 года и подтвержденный указом Елизаветы 25 января 1742 года, обязывал его постоянно присутствовать при дворе. В 1743 году Шереметев женился на единственной дочери канцлера А. М. Черкасского — Варваре Алексеевне, наследнице несметных богатств. Этим он более чем вдвое увеличил и без того огромное состояние. Доходы с десятков вотчин со многими тысячами крепостных крестьян позволили широко развернуть усадебное строительство.
Проект нового дома, относящийся к началу 1740-х годов, сохранился в Стокгольмской коллекции Ф. В. Берхгольца Однако остается неясным, был ли построен дом по этому проекту. Это могло произойти в период с 1741 по 1746 год. Но, скорее всего, этот первоначальный вариант послужил основой другому проекту, либо претерпел значительные изменения в ходе строительства в конце 1740-х годов.
Автор проекта до сих пор не известен. В семье Шереметевых сохранилась легенда о том, что дом был построен зодчим Ф. Б. Растрелли. Действительно, сравнение чертежа «Фасад каменного дома графа Шереметева недалеко от Летнего дворца» из коллекции Ф. В. Берхгольца с чертежами ранних построек Растрелли (Летнего дворца в Перове и Летнего дворца императрицы Елизаветы Петровны в Петербурге), казалось бы, подтверждает старинное предание. Однако сам архитектор не упоминает о нем в перечнях возведенных им зданий.
