Петр Гаврилович Головкин принадлежал к последнему поколению этого известного рода. Его прадед Гаврила Иванович был канцлером при Петре I. Один из его сыновей, Михаил Гаврилович, был вице-канцлером при Анне Иоанновне. Елизавета отправила его в ссылку, где он умер. Дочь Гаврилы Ивановича, Анна Гавриловна, поело смерти своего первого мужа, известного деятеля петровского времени Павла Ивановича Ягужинского, вышла замуж за Михаила Петровича Бестужева, но через полгода после свадьбы попала в немилость и была подвергнута наказанию кнутом с «урезанием языка», а потом отправлена в ссылку. Другой сын Гаврилы Ивановича, Александр Гаврилович, был русским посланником в Берлине, Париже и Гааге. После ареста брата и сестры он отказался вернуться в Россию, тем более что успел перевести в амстердамские банки почти все свое состояние. Оставив службу, Александр Гаврилович поселился в Париже и на вопросы, когда он думает вернуться на родину, отвечал: «Когда в России исчезнут поговорки»,от сумы да от тюрьмы не орекайся" и „все божие да государево"». Он и его сыновья женились на иностранках. Сыновья и внуки Александра Гавриловича приняли протестантство. Одним из его внуков и был Петр Гаврилович Головкин. Когда часть потомков А. Г. Головкина вернулась в Россию, состояние семейства было почти растрачено. Этим обстоятельством, скорее всего, можно объяснить брак Петра Гавриловича с Софьей Демидовой. Ведь дом, в котором они поселились после свадьбы, был куплен на демидовские деньги и владелицей его была Софья Александровна.
Неизвестно, сколько времени С. А. Головкиной принадлежал этот дом и когда она его продала, но уже в начале XIX века он перешел к семье, которая жила в нем более полувека и с которой связана самая интересная страница в истории этого дома. Имена его новых хозяев упоминаются во многих документах и воспоминаниях.
Молодая англичанка Марта Вильмот, приехавшая в Россию по приглашению Екатерины Романовны Воронцовой-Дашковой, сообщает в письме на родину 10 октября 1808 года: «Когда приезжаешь в Петербург, необходимо сообщить полиции фамилию и место жительства. Я назвала как место своего пребывания дом графини Воронцовой на Большой набережной».
Большой или Верхней набережной в конце XVIII — начале XIX века называли Дворцовую набережную. Графиня Воронцова, о которой пишет М. Вильмот, это вдова двоюродного брата Е. Р. Воронцовой-Дашковой, Иллариона Ивановича Воронцова, Ирина Ивановна. Их единственный сын, Иван Илларионович, готовился к дипломатической деятельности. В 20-х годах он станет русским посланником в Мюнхене, а затем управляющим церемониальным департаментом Министерства иностранных дел. Е. Р. Воронцова-Дашкова после смерти своего сына назначила его одним из своих наследников. Сестра Марты, Кэтрин Вильмот, в одном из своих писем сообщает об этом: «Сейчас мы ожидаем приезда графа-Воронцова, прекрасного молодого человека лет 16—17, княгиня выбрала его в наследники совместно с сыном своего брата (бывшего послом в Лондоне)». Родной племянник Екатерины Романовны, сын русского посла в Лондоне — это Михаил Семенович Воронцов, будущий новороссийский генерал-губернатор. Он, как продолжатель рода Воронцовых, был ее наследником в имущественном плане. Иван Воронцов, помимо наследства имущественного, должен был по желанию Екатерины Романовны унаследовать фамилию рода, последним представителем которого был ее сын. Кэтрин пишет о том, что желание Е. Р. Воронцовой-Дашковой «увековечить свое имя для последующих поколений становится более ясным перед лицом окончательного исчезновения рода Дашковых. Если император позволит, молодой Воронцов прибавит к своему имени титул князя Дашкова». Александр I разрешил, и с 1807 года Иван Илларионович стал Воронцовым-Дашковым.
