文政四年 (一八二一) 政憲は長崎奉行から江戸南町奉行に移り、以後二〇年間にわたって町奉行の激務を勤めた。江戸時代を通じて町奉行の在任期間は平均三、四年の中で最長であった。彼の人柄を彷彿させる逸話が伝えられている。ある時、世間話の中で知人から「増上寺の若い坊主たちが門前のうなぎ屋で蒲焼を食べるが一向に銭を払わないので店の主人が困っている。無碍に催促も出来ないのでどうしたらいいだろうか」と相談された。政憲はにっこり笑って「簡単なことだよ」と秘伝を教えた。明日から三日間ほど店を閉じ、『増上寺中の坊様より蒲焼の御注文に付、度々差し上げておりますが、代金のお支払いがなく商売が成り立ちません。この度、店を仕舞い、道具付きで売家に致します』と大きな紙に書いて表戸に張出すよう店主に伝えさせた。効果は覿面、張出した日のうちに売掛け金は完済され、貼紙をすぐに剥がすよう詫びが入れられた。
　六三歳の時、永年精勤の功により五百石が加増され、二千七百石になった。そして翌年、西丸留守居に移り、しばらくして寄合 (非職) となるが、日本沿海への外国船の出没が激しくなり、幕府内で攘夷論が盛んに唱えられるようになると、政憲はこれに反対、外国船の打払令よりも国防強化を優先すべし、と主張した。ほどなく西丸留守居に戻り、嘉永六年 (一八五三) ロシア使節プチャーチンが長崎に来航すると川路聖謨と共に応接掛を命じられ、七六歳の高齢にもかかわらず、急遽長崎に赴き、開港通商および国境問題の早期解決を迫るロシアに対して、のらりくらりと要求を受け入れないで先延ばしにする・ブラカシ策・によって取り敢えず早急な決定を断念させた。にもかかわらず政憲と聖謨とはロシア人の間でも評判がよかったらしく、プチャーチンの秘書官ゴンチャロフは初対面の政憲について『日本渡航記』の中で「老全権 (政憲) が口を切った。私たちはじっと彼の目を見つめていた。老人は最初から私たちを魅了してしまった。こういう老人はどこへ行っても、どんな民族の中にもいるものである。両目と唇の回りは光線のような皺に囲まれ、まなざしにも、声にも、すべてに長老らしい分別のある愛想のよい善良さが輝いていた——それは長い人生と実生活の叡智のたまものである。この好々爺を見れば、誰しも自分のおじいさんにしたくなるであろう。おまけに、この老人の物腰には立派な教養がにじみ出ているのだ。……」とベタ褒めである。翌年、老中阿部正弘に抜擢されて大目付 (海防掛) となり、軍政改革を命じられ、伊豆下田での日露和親条約の締結に尽力した。安政四年 (一八五七) にはアメリカ領事ハリスの下田よりの出府にともない、ハリス出府御用掛となり応接にあたった。安政六年 (一八五九) 六月、八二歳没。