Одновременно был построен и новый каменный дом на Литейной перспективе. К 1734 году в усадьбе появились еще два каменных строения, расположенные симметрично от большого пруда. Одно из них примкнуло вплотную к старым палатам фельдмаршала. В донесении 1741 года в полицмейстерскую канцелярию они названы «малыми флигелями»: «На Московской стороне оных Шереметевых каменного строения также нет. Построено два малые флигеля, а главное строение и прочие жилые покои деревянные». Московской стороной тогда называли городские предместья, расположенные за Фонтанкой. В том же документе упоминается еще и каменный дом на Васильевском острове.
Столь пристальное внимание петербургской полиции к каменным постройкам Шереметевых объясняется тем, что они, как и прочие именитые застройщики, согласно петровским указам, обязаны были построить в новой столице несколько каменных домов. Их количество зависело от размеров состояния владельцев, и, прежде всего от числа крепостных. Но наследники фельдмаршала всячески уклонялись от исполнения этих указов, предпочитая по-прежнему жить в Москве. Всякий раз, когда городские власти затевали очередную проверку, Шереметевы находили благовидные оправдания своей бездеятельности.
В конце 1730-х годов все имения покойного полководца перешли в собственность его старшего сына — Петра. В противоположность своему знаменитому отцу, Петр Шереметев не прославился ни на военной, ни на гражданской службе. Один из первых его биографов С. Д. Шереметев писал: «Петр Борисович был свидетелем шести царствований, начав службу при Петре II, он дожил до 1788 года. Сменялись царствования, возвышались и падали временщики, менялись правления, но все это не касалось Петра Борисовича, никогда особенно не выдвигавшегося своей деятельностью, но всегда умевшего пользоваться счастливым для него случаем... Умение пользоваться связями родственными, покровительство князя Н. Ю. Трубецкого, связи с Вяземским, с Брюсом и Паниным ограждали его от случайностей и помогали ему ужиться при разумных течениях и сохранить свое благоприятное положение, заслужить славу опытного хозяина, хлебосола и покровителя искусств, не чуждого сношений иноземных, но всегда верного своей народности, вере и строю».
