В 1915 году гражданский инженер М. В. Красовский, изучавший документы шереметевского архива, первым высказал предположение о том, что автором проекта дома был C. И. Чевакинский. Впоследствии его поддержал авторитетный исследователь петербургской архитектуры А. Н. Петров, сославшийся на материалы из архива Якоба фон Штелина, называвшего дом Шереметевых на Фонтанке в числе петербургских зданий, построенных этим зодчим. Однако к строительству дома Чепакинский мог приступить и по проекту другого архитектора. Так было в 1746 году, когда после смерти Г. Д, Дмитриева он «вступил в смотрение» дома, принадлежавшего князю А. М. Черкасскому, тестю П. Б. Шереметева.

Строительство завершилось в 1750 году, а 1 июля 1751 года в «новопостроенном доме», в домовой церкви святой великомученицы Варвары, уже крестили сына П. Б. Шереметева Николая. Отделочные работы частично продолжались до 1754 года. В «Расходе деньгам на 1754 год» говорится о расчетах с мастерами за «резную работу», исполненную для разных помещений;, содержится запись о выдаче денег живописному мастеру Ле Грену, который «рисовал в зале и в прочие места рисунки четырем картинам», золотарю Д. Степанову «со товарищи», вызолотившим в зале жирандоли, «резные под окнами штуки и наугольники».
Новый дом представлял собой двухэтажное здание с мезонином, состоящее из трех частей: центрального корпуса и двух флигелей. Его композиция была обусловлена особенностями первоначальной застройки участка. Сильно выступающий к Фонтанке центральный корпус возвели на месте старого главного дома, а боковые флигеля включили капитальные стены старых каменных построек, находившихся возле пруда. Эта композиция Шереметевского дворца сохранилась до наших дней.
Архитектурное оформление фасадов было традиционным для стиля русского барокко середины XVIII века. Со стороны Фонтанки находились массивный центральный подъезд и боковые выступы с арочными проемами и сдвоенными колоннами в простенках. Пологие -пандусы подъезда украшали каменные изваяния сфинксов. На центральный балкон со стороны сада вели широкие лестницы, возле которых стояли золоченые кони работы И. Дункера. Балюстрада и фронтон с гербом Шереметевых были украшены деревянной скульптурой. Характерные образцы барочного декора представляли сложные по рисунку капители с львиными масками и орнаментальные композиции, вкомпонованные в фигурные оконные обрамления.