　父斉興との相克

曽祖父重豪は9歳、祖父斉宜は13歳、父斉興は17歳で襲封したのに対し、斉彬は30代半ばを過ぎても家督を譲られなかった。
父斉興は、斉彬の英明の聞こえが高くなればなるほど、重豪譲りの洋学趣味（蘭癖）によって、再び藩財政が危機に瀕すると考えた家老調所広郷等の藩の要路の人々の意見もあって、斉彬の襲封に反対、斉彬に家督を譲らなかった。
調所は、琉球の処置・砲術などの軍事問題についても、斉彬と対立的であった。財政改革に抜群の手腕を発揮した調所であるが、時代の流れや世界の動きを洞察する能力は斉彬に遠く及ばなかった。斉興の信頼を一身に受けた調所一派の思惑と、久光を後嗣にしたいという斉興の愛妾お由羅の親心が結び付いて、斉彬排除の気運が醸成されたのだろう。
お由羅というのは、斉興の側室岡田由羅のことである。江戸高輪の船宿の娘、麹町八百屋善平の娘、あるいは三田四国町の大工藤左衛門の娘などと言われ、生年なども不明である。お由羅は文明14年（1817）10月、久光を産み落とし、慶応2年（1866）10月18日まで生存した。

　斉彬、薩摩へ帰国

斉彬は、弘化3年（1846）6月、琉球外国船問題処理の為、父斉興の名代として帰国した。ところが、翌弘化4年3月、斉興も鹿児島に帰り、その1週間後の3月15日、9カ月余在国した斉彬が鹿児島を出立した。斉興・斉彬父子の相前後する帰藩は、これに要する経費から考えても普通ではない。斉彬の帰国は、表向き斉興の願いによる名代としての帰国であるが、斉彬が老中阿部正弘と画策して帰国したことも考えられる。斉彬は、斉興の継嗣に関わる鹿児島の実情を目の当たりにしたいという欲求が強かったことも考えられ、また逆に、斉興は斉彬の帰国に気がかりなこともであったのだろう。徳川斉昭は、この事を国家重大の節を忘れ、一身の高位を思う愚物である、と斉興を罵倒している。
斉彬が山川海岸などを巡見中の弘化3年11月2日早朝、宿泊していた指宿二月宿の斉興の茶屋が全焼し、斉彬が浜崎太平次宅へ避難する事件が起こった。この火災がもし斉彬の生命を狙う放火だとすると、何らかの犯人の捜査・逮捕・処罰がなされるはずだが、その形跡もなく、失火責任者の処罰も行われていない。おそらくここで花火製造をしていたらしく、巡見中に斉彬自らも花火の実験を行ったものと考えられる。

　打倒調所を

斉彬は、鹿児島から着府して40日余り後の弘化4年6月22日、江戸詰めで斉彬付き奥茶道頭から、数寄屋頭として鹿児島へ転勤する山口定救を、隠密に任命した。斉彬付き御納戸勤めの山崎拾宛の書簡に、次のように記している。
「この茶わん並びにたばこ入れ・金子入り封物、山口へ遣わすべく候。もっとも重玄（茶道頭）へ極秘に候。この夜にてもよろしく、若し目立ち候ては大事に候条、明日目立たる様相渡し然るべく候。何分よろしく致すべく候。この隠密の儀は、す印（斉彬の側室すま）へも内々なり」
山崎に託した山口への封物の中で、家老調所広郷や、その一味の動静についての探索を、具体的に指示した。それは、
「中山（琉球）の儀にかぎらず、何事にても比ら（平之馬場に屋敷を構える調所）辺その外の様子、風聞・実事かまひなく・・・・よくよめ候様に書き・・・・極く細字にしたため・・・・いずれ度々にてはあしく、書きため候て遣わすべく候。残念に候とも、ひら辺かまたは西田（使番兼目付）・伊集院（平、小納戸頭兼用取次）辺よく取入り申すべく候。先は要用秘事申入れ候。跡火中いたすべく候なり。」
と、慎重を期すよう細やかに支持し、残念であっても小傑に入っての調所一味の探索と、書簡の焼却を命じている。また、斉彬の密書や斉彬への返書には、ローマ字が使用されることもあった。
斉彬が山口に与えた密書は、弘化4年には4通、嘉永元年4通、嘉永2年7通の計15通が遺されている。斉彬の密書は隠密に任命した弘化4年の6月22日・10月晦日の分を除いて、全て29日の日付で、山口宛に差し出されている。山口は、これらの密書を喜界島遠島処分の時も持参し、焼却せずに現存している。しかし、山口から斉彬への返書は一通も残されていない。斉彬自身焼却したか、斉彬の遺言によって山田壮右衛門為正が、城内浩然亭と江戸藩邸で焼き捨てた書類の中に入っていたのだろう。