В декабре 1717 года Б. П. Шереметев был уволен со службы и отпущен в Москву, где многие старческие недуги вскоре окончательно приковали его к постели. Умер он 17 февраля 1719 года, завещав перед смертью быть похороненным в Киево-Печерской лавре, но по приказу Петра прах его был 10 апреля перевезен в Петербург и предан земле в Александро-Невском монастыре. Хоронили полководца торжественно. В записках В. А. Нащокина говорится, что «от двора его в препровождении до Александро-Невского монастыря его Императорское Величество, всемилостивейший государь, сам трудиться изволил, со всеми министрами. А перед гробом шли два полка лейб-гвардии Преображенский и Измайловский».
С этим событием связано наиболее раннее изображение усадьбы Б. П. Шереметева на Фонтанке. На рисунке Ф. Васильева «Шереметево подворье», датируемом 1719 'годом, в центре изображен окруженный деревьями двухэтажный мазанковый дом с треуюльпым фронтоном и высокой кровлей. Слева от него видны низкие хозяйственные постройки. На укрепленном берегу Фонтанки расположены бревенчатые одноэтажные флигеля на полуподвалах, соединенные балюстрадой.
Самые ранние документальные сведения, относящиеся к перестройке имевшихся в усадьбе зданий, восходят к 1727 году. «Данная на двор, состоящий по набережной Фонтанки», полученная в Полицмейстерской канцелярии вдовой фельдмаршала А. П. Шереметевой, свидетельствует: «...и в перестройке на том дворе ветхих покоев позволение учинить».
Возможно, к этому времени относится проект деревянного дома, опубликованный Н. Е. Лансере. Вероятно, это был лишь эскизный вариант, выполненный с учетом «образцовых печатных планов». Причем небольшой, отдельно стоящий флигель, изображенный на чертеже в верхнем левом углу листа, представлял собой наиболее раннюю каменную постройку, сохранившуюся от времени Б. П. Шереметева.
На следующем по времени плане усадьбы, относящемся к 1733 году, обозначены всего два строения. Одно из них помещено на границе участка по Литейному проспекту, а другое находится приблизительно на месте упомянутого выше каменного флигеля. Интересно, что ко времени составления нового плана участок занимал площадь почти вдвое большую, чем была указана в «Данной» 1712 года. Вероятнее всего это увеличение произошло в 1732 году, когда окончательно завершилось урегулирование Литейной перспективы. Тогда же в усадьбе выкопали большой пруд, упоминания о котором появляются только в середине 1730-х годов. Во всяком случае, в связи с благоустройством улицы велено было копать поблизости от нее пруды и вынутую из них землю использовать для подсыпки грунта на проезжей части.
