1 января 1804 года дом № 42 с дворовыми флигелями становится домом церковного управления.
Сведения о сдаче помещений внаем и получении за них платы сохранились в специальном деле архива армянского духовного правления. В нижнем этаже дома находились торговые помещения, во втором этаже жили торговцы: иностранец Жозеф Тейлен, купец Ильин, а затем погребщик (торговец вином) Соболев; числились некоторое время грузинский дворянин Авель Гамазов и майор артиллерии Арапетов. В 1805—1809 годах третий этаж (четвертого этажа еще не было) с частью дворового флигеля «и с разными службами в оном» занимал Еким Лазаревич Лазарев — без контракта, на правах наследника, но с оплатою по 3 тысячи рублей в год.
Во дворовых флигелях квартиры, судя по оплате, были недороги — по 150 рублей в год, а некоторые квартиранты жили «без платежа». Флигель был в три этажа, верхний и средний зачастую занимали лица, связанные с Лазаревыми и армянами-церковниками. В 1814 году в третьем этаже основного дома снимал покои генерал-адъютант граф Евграф Федорович Комаровский, оставивший интересные воспоминания о России конца XVIII — начала XIX века. В 1823 году его квартира принадлежала «ка-валерственной даме» Анне Андреевне Камбурлей. Она занимала «в третьем этаже чистых покоев тринадцать, с мебелью господина Лазарева, с кухней голландской, печами и плитой, с выходом из оной кухни на двор по среди каменной лестнице, а также с проходом из кухни по коридору в буфет...». В конце 1823 года эта квартира была сдана новому съемщику — Михаилу Михайловичу Сперанскому (1772—183S), известному государственному деятелю, составителю «Полного собрания законов» Российской империи в 45 томах и «Свода законов» в 15 томах.
За заслуги перед Отечеством в 1832 году М. М. Сперанский был награжден орденом Андрея Первозванного; Церемония вручения изображена на барельефе памятника Николаю I (скульптор П. К. Клодт, архитектор О. Мон-ферран) на Исаакиевской площади. Выдающиеся способности М. М. Сперанского оцепил в свое время еще Александр I. Михаил Михайлович с удивительной смелостью предлагал императору всевозможные проекты государственных преобразований. Сперанский с 1808 года исполнял обязанности товарища министра юстиции, его наблюдению была вверена комиссия законов. Он приступил к составлению нового гражданского уложения, пользуясь кодексом Наполеона, но аристократия и чиновничество были раздражены выработанными в 1809 году указаниями о придворных званиях, об экзаменах на гражданские чины. 1812 год стал для М. М. Сперанского роковым. Его обвинили в измене и сослали в Нижний Новгород, затем в Пермь. Оттуда он писал государю оправдательные письма. В 1814 году, когда наши войска вступили в Париж, Сперанскому было разрешено поселиться в его новгородском имении. В дальнейшем он постепенно сдавал свои позиции реформатора, даже начал искать гарантии политической свободы в усилении аристократии. В 1816 году Сперанский хлопотал через Аракчеева об облегчении своей участи. Через некоторое время он был назначен губернатором в Пензу, чтобы «усердною службою очистить себя в полной мере». В марте 1819 года он становится сибирским губернатором. Государь в собственноручном письме сообщал, что этим назначением желал явно доказать, насколько несправедливо враги оклеветали Сперанского. В марте 1821 года Михаил Михайлович вернулся в Петербург, но уже совершенно иным человеком. Он уже не был защитником полного преобразования государственного строя, сознававшим свою силу и смело высказывавшим свои мнения, это был уклончивый сановник, не гнушавшийся льстивого угодничества даже перед Аракчеевым. После возвращения в Петербург он становится членом Государственного Совета, но прежней близости с императором Александром I уже не было.
