天保八年（一八三七）堀大和守は源兵衛村に名園「楽其楽園(らくきらくえん)」を造らせたが、八年後の弘化二年（一八四五）、天保の改革を急ぎ過ぎた老中水野忠邦の失脚に連座して、勤務不正ということで一万石を削られ、隠居・逼塞(ひっそく)となり、三年後には六三歳で没。その翌嘉永二年（一八四九）屋敷は摂津尼崎藩主松平遠江守忠(ただ)栄(なか)（四万石）に譲渡された。忠栄は学問好きで知られ、『貽厥編(いけつへん)』などを著した文人大名であった。その後、前述のように安政六年（一八五九）松平遠江守抱屋敷は松平確堂（津山藩、十万石の隠居・十一代将軍家(いえ)斉(なり)の十六男）に譲渡された。津山藩ではこの屋敷を近くの姿見橋に因(ちな)んで「姿見屋敷(すがたみやしき)」と呼んだ。永井荷風はその著書『下谷叢話』で「慶応三年（一八六七）十月二十五日、著名な漢詩人大沼枕山(おおぬまちんざん)は松平確堂より姿見屋敷の宴席に招かれ、林泉の美を詠じている。」と述べている。　明治元年（一八六八）の幕府瓦解の際には、藩内に勤皇、佐幕の両派あって混乱したが、確堂の威圧によって勤皇に統一され、ことなきを得ている。そして、徳川宗家家達(いえさと)の後見人になった。

明治四年（一八七一）確堂は中根岸（現台東区根岸四丁目三、四）の旧名主勝田某の居邸を購入し、姿見屋敷からここに転居、ついで新築を始めた。この工事に就いて『明治庭園記』に「日本風二階建の御殿は、専ら華奢にして、恰も草雙紙田舎源氏(くさそうしいなかげんじ)の絵に観るが如き、物数寄(ものすき)を竭(つく)して構造せり、又別に、西洋風の家屋有りて、付属調度等、皆上等制作なり、更に支那風の家屋有り、其締構尤も竒巧を尽くし、窓障塀等、総て唐画を観る如き光景なりと云えり」とある。このため、残念ながら姿見屋敷の「楽其楽園」は間もなく取り壊され、田畑や山林に戻り、現在は家々が密集してその俤(おもかげ)すら見ることのできない幻の名園となった。

明治七年（一八七四）五月、松平斉(ひとし)が確堂（当時六十一歳）の八男として誕生。のちに分家して男爵を授けられ、元十五代将軍慶喜(よしのぶ)の七女浪子(なみこ)と結婚。明治二十四年（一八九一）三月、松平確堂、七十八歳没。明治三十年（一八九七）二月、松平斉光(なりみつ)、松平斉の長男として生まれる。母は浪子。明治四十一年（一九〇八）下谷区中根岸一〇七松平斉光名義（親権者母松平浪子）で豊多摩郡戸塚村源兵衛の醍醐(だいご)平次郎・小泉萬五郎・小泉源太郎と土地貸借の契約書を交わしている。確堂直系の本家筋にあたる松平康民は本郷区龍岡町に屋敷を構えていたので、分家筋の松平斉光が縮小された姿見屋敷を受け継いだのではなかろうか。

楽其楽園北境の神田川