В приказе Астраханской духовной консистории в 1777 году давалось право пользования И. Л. Лазареву и его наследникам «всем произведенным строением, яко собственностью, дотоле пока, церковь в возможности будет заплатить ему употребленный на построение дома капитал». На строительство храма И. Л. Лазарев пожертвовал 30 тысяч рублей; дом и каменный флигель стоили 50 тысяч рублей.
В 1785 году в прошении, поданном на высочайшее имя, И. Л. Лазарев предлагает строить еще один дом — на западном, еще не застроенном участке: «...но и пустырь другой половины церковной земли будет безобразием в симметрии великолепной столицы, и ежели приступить к исправлению того безобразия, от чего последовать должно немалое всему проспекту украшение, то еще потребуется не меньше 60 тысяч рублей». В 1794 году было дано разрешение «на выстроение корпуса дома при церкви св. Екатерины, выходя из оной по правую руку». Автор проекта этого нового дома остается неизвестным. Есть предположение, что дом № 40 строил Е. Т. Соколов, который в эти же годы вел работу по строительству здания Публичной библиотеки и выполнял многие заказы Лазаревых.
Внешний вид дома до нашего времени сохранился без существенных изменений — это характернейший образец небольшого дома русского классицизма рубежа XVIII— XIX веков. Особенно ценно то, что внутренние помещения сохранили свои первоначальные габариты и некоторые элементы отделки. Этим определяется его историко-художественное значение.
На рисунке Садовникова «Панорама Невского проспекта» хорошо видно, что между жилыми домами стояли ворота с пилонами, увенчанные скульптурами львов.
30 марта 1800 года архиепископ Армянской церкви Иосиф князь Долгоруков-Аргутинский утвердил завещание И. Л. Лазарева, по которому он добровольно «даровал те здания церкви и народу...». Но «даровал» на определенных условиях. До смерти И. Л. Лазарева и его жены Екатерины Ивановны оба дома и получаемые от них доходы, а также издержки на содержание и ремонт оставались в ведении Лазаревых. «По смерти обоих нас, дом, который, выходя из церкви, состоит по левой стороне (№ 42 — Л/. /Г.) со всею к нему пристройкою, кроме внутреннего украшения и мебели, и под другим домом имеющиеся лавки отдано быть имеет в управление попечителей церковных». Дом, «который по правой стороне, при выходе из церкви» (№ 40), кроме магазинов в нижнем этаже, предназначался для жительства наследникам И. Л. Лазарева мужского пола до третьего колена. «Когда родовые три колена пройдут, тогда и тот дом имеет быть уравнен с другими, и распоряжение доходами и расходами зависит от попечителя».
