　音律を好んだ象山

象山は子供の頃から音律を好んだ。たまたま禅僧活文が児玉空に琴を学んだことを知り、活文から華音（中国語）を学ぶ傍ら琴曲の指南も受けて、しきりにこれを弄んだ。藩儒竹内錫命がこれを知って顰蹙し、男子の癖に怪しからんと戒めたところ、象山は笑いながら、「諸葛孔明や陶淵明も琴を弾いたのではありませんか。英雄の心中おのずから閏日月ありで、このくらいの余裕がないと大人物にはなれません」と言って聞き容れなかった。
当時有名な詩人梁川星厳が、天保5年（1834）に京都から出府し、神田阿玉池に玉池吟社を起こした。この事を知った象山は早速訪ねて交際を結ぶに至った。星厳は妻の紅蘭女史とともに旗本の隠居仁木三岳の門に入り、盛んに琴を弄んだ。象山も素より好む道とて星厳の紹介により三岳に入門して、三十余の曲目を修めその奥伝をも許して貰った。三岳は諱を守昌、字を天福、通称を甚五兵衛と称し、活文と同じく児玉空に学び、当時江戸における琴曲の大家として知られた人である。天保10年（1839）9月16日70歳で死去した。象山の執筆した碑銘は江戸深川本誓寺に建てられた。

　なかと琴を合奏

藩から城付並講釈助を命ぜられて、天保7年（1836）友人の渡辺崋山から墨竹を書いた餞別を贈られ、2年ぶりで象山は松代の自邸に帰り、藩の子弟に経書を講義し、専ら後身の指導に努めた。
当時同藩士飯島紀郷の妻になかというものがいた。琴曲の妙手だったから、象山は時折なかを訪問し合奏に興じた。紀郷は江戸住まいだったため不在であり、その際に誤って火災を起こし、幸いに寝具2枚を焼いたのみで消し止めたが、そのショックによってなかは精神異常者となり、象山との間に男女関係でもあるかのように、あられもないことを口走り始めた。
男女間の問題というのは、いつの世でもとかく大げさに伝えられがちで、事実無根の事までも、あるが如くまことしやかに囃したてるのが常であるから、なかが口走ったことが黙殺されるはずがなかった。象山より10歳も年上であるが美人であり、しかも若作りのなかの許へ琴の手合わせにしばしば通うのを見て、世間は面白おかしく囃したてたのである。

　濡れ衣晴れて地固まる

この噂に、夫の紀郷も黙ってはおられず、象山に手紙を送ってその不埒を詰問した。これに答えて象山は「自分は琴を好むあまり、貴殿の御不在中にしばしば参邸して御令閨と事の手合わせをしたのは事実です。この件について誤解を生じるような行動をしたことは軽率と言われても仕方がないが、決して心にやましいことはしていません。昔酒好きの阮公は隣家の婦人が酒店を開いているので、婦人に癪を貰っていい気持になり、遂に泥酔してそのまま前後不覚の体となり、夫人の傍らで眠ったために、その夫に疑われてひどく迷惑したというが、それと全く同じである」と釈明書を紀郷に寄せている。濡れ衣を着せられて象山は頗る当惑したが、しかしそれが事実無根であるという事がわかり、紀郷の心も解け、二人は死ぬまで紳士の交際を続けた。紀郷は後に名を敬喜と改めた飯島楠左衛門のことで、兵学者でまた国学にも長じた立派な人物であった。象山には「琴録」及び「琴興十種」の作があり、又次のような琴詩数種がある。
「松に吹き入る秋風か　谷間にむせぶ清水かと　心もすみきてきこゆる　琴の音ぞあやしき」
国事を憂いて寧日なく奔走する間にも、かくのごとく常に閑日月を楽しむ余裕があったわけである。