最初の相対替（１８１０）で忠直は三十年以上暮らした「二十五騎町末」から本所石原町に移った。
　二度目の相対替は二十五年後の天保五年十二月（１８３５）。飯田甚三郎屋敷千六百二十五坪の内、新規道路地と屋敷地として千三十坪を分割。屋敷地の内二百四坪余が高山弥十郎（忠直）に割当てられた。七十三歳の忠直は本所石原町から以前の屋敷に近い四谷裏番衆町通北手に戻ることになる。屋敷地がほぼ三分の一となった飯田家の事情 は定かでない。
　『沿革圖書』には四谷裏番衆町通北手（嘉永五年９月（１８５２）調）の絵図が十一枚ある。天保五年の図を見ると、高山弥十郎（忠直）の屋敷は飯田家が失った屋敷地内にあり、両隣の屋敷との面積比も相対替の坪数と符合する。
　ここは、かつての屋敷（二十五騎町末）の東南東約２５０ｍ。現在の新宿六丁目３「東京ビジネスホテル」北側辺りだ。【図１】
　天保五年までの図で屋敷地や周辺の変遷も判る。前回の相対替時に入った松田家は代替わりを経て残っていた。大久保村見取地だった場所は屋敷地となり、本川家と大河内家が入っている。
　天保六年以後の図に高山家は無い。忠直は二十五年ぶりに裏番衆町通北手へ戻ったが、相対替の翌年に他界した。牛込法正寺（新宿区岩戸町）葬。享年七十四歳。
　前回示せなかった『算闘』第三問は次の通り。【図２】
　「問」大円を直線で上下に分け、上に一つ、下に二つ、計三つの等径の小円を図の様に大円と直線に接して配置できたとする。大円の径が九寸ならば、小円の径は何寸になるか。「答」四寸。
　忠直に学んだ入門者達も、解けそうで解けぬ「もどかしさ」と簡潔な解を得る「快感」を体験したはずだ。
　なお、この問題は小円の中心を頂点とする三角形の外心として「大円の中心」を作図すれば、三平方の定理と直角三角形の相似関係を用いて解ける。
　ところで、作者名「榎本武由武兵衛」は榎本武揚の祖父に当たる人物と同名だ。時期も対応するが、武兵衛が和算家であった事を示す記録はない。ただ、婿養子「榎本武規円兵衛」は算術の実務家だった。円兵衛の経歴を見ると、御家人の株を売り婿養子を取った武兵衛には、後継不在や経済の不安だけでなく、「和算への想い」もあったのではないかと思えてくる。
　榎本武規円兵衛（１７９０～１８６０）は十七歳で伊能忠敬の内弟子となり『大日本沿海輿地全図』の測量に参加。忠敬の死後、御家人の株を買い榎本家の婿養子となり、天文方や勘定方も経験した。榎本家の当主が「榎本武由武兵衛」。榎本武揚は円兵衛と後妻の間に生まれた次男である。