И. Л. Лазарев умер в 1801 году и был похоронен в семейной усыпальнице армянской Апостольской церкви на Смоленском кладбище Васильевского острова. Предполагают, что церковь на Смоленском кладбище также была построена КЗ. М. Фельтеном в 1791 году и опять же на средства Лазаревых. Там уже был похоронен единственный сын Ивана Лазаревича и Екатерины Ивановны — Артемий Иванович, молодой офицер, адъютант Г. А. Потемкина, погибший во время русско-турецкой войны 1787— 1,791 годов. Известное надгробие Лазаревых, выполненное скульптором И. П. Мартосом, было создано для могилы именно Артемия Ивановича. Установлено оно в 1802 году и воспринимается как скульптурный мемориал семьи Лазаревых. Лицо юноши, изображенное в медальоне, имеет портретное сходство с Артемием Ивановичем. Скульптуры, изображающие отца и мать, условны, символичны. Этот памятник сейчас находится в Ленинградском музее городской скульптуры.
Итак, дом № 40 по завещанию Ивана Лазаревича принадлежал его наследникам — жене Екатерине Ивановне (умерла в 1819 году) и братьям Мине и Екиму.
Екатерина Ивановна занимала верхний этаж. Когда хозяева отсутствовали, квартира сдавалась внаем. Нижний этаж с 1805 по 1810 год принадлежал купцу-иностранцу Иоганну Энгбертцу — там находились жилые помещения и магазин. В 1806 году второй и третий этажи были наняты для конторы банкирского дома братьев Ливио и К°. В 1810 году здесь жил министр внутренних дел граф В. П. Кочубей. Но еще раньше в «церковных домах на Невском проспекте» была основана и функционировала первая в России армянская типография. Ее создателем был Григорий Ходжамалович Халдарян, поборник просвещения, автор армяно-русского словаря, изданного в Петербурге в 1788 году. После смерти Халдаряна дело продолжала его жена Катарина Захаровна Халдарян, первая армянская женщина-издатель. Эта типография просуществовала до 1789 года, а затем была переведена в Нахичевань на Дону, где издавна селились армяне. Вторая армянская типография в Петербурге открылась в 1812 году.
В 1822 году, после смерти Екатерины Ивановны, заново были отделаны второй и третий этажи со всеми службами. Работы обошлись в 15 547 рублей. Квартира отделывалась для Екима Лазаревича Лазарева, ставшего фактическим учредителем Лазаревского института.
Для квартиры были приобретены бронзовые ручки к дверям,
мраморные подоконники, чугунные и мраморные камины, зеркала, зеркальные стекла в оконные переплеты. Мастер Гусев обязан был парадные помещения окрасить «по приложенному рисунку: в зале с выходом на балкон — перловым цветом»; в столовой — «английской палевой краской»; в кабинете — светло-зеленым колером; в желтой гостиной, «что перед кабинетом»,— абрикосовым; в гостиной барыни, «что перед спальней»,— светло-розовым и т. д. В обязанности Гусева входила роспись потолков и карнизов.
В дальнейшем квартиру третьего этажа занимал последний попечитель Лазаревского института — Христофор Екимович Лазарев. Он был и последним Лазаревым по мужской линии. После его смерти в 1871 году в этом доме будут жить его дочь Елизавета Христофоровна Абаме-лек-Лазарева с мужем Семеном Давыдовичем Абамелеком и их родственники — Деляновы. Иван Давыдович Делянов (1818—1897) был попечителем Петербургского учебного округа, затем — товарищем министра народного просвещения.
