　お由羅暗殺計画

安政元年（1854）閏7月24日、斉彬の世子である虎寿丸が6歳で亡くなった。急激な下痢症状で、発病してからわずか1日で死亡してしまったのである。
その後、斉彬も重病となった。この時、西郷は目黒不動に参詣してその回復を祈願した。
斉彬の病気の原因は、お由羅一派の呪詛によるものだという噂が立ち、それを信じた西郷は同志と結託して、お由羅の暗殺を計画したという。お由羅一派が斉彬を暗殺しようとしたかどうかは定かではないが、一度信じ込んでしまうと頑なになり、暗殺という手段を簡単に選んでしまう西郷の別の一面がここに垣間見える。
しばらくして病気が全快した斉彬は、西郷を呼び出し暗殺計画について大いに激怒。「今はそんなことにこだわっている時間はない」と西郷をたしなめたという。

　離婚される

江戸で国事に夢中になっていた頃、薩摩では家庭崩壊が迫っていた。大家族の西郷家の暮らしは相変わらず苦しく、残された新妻の苦労は大変なものであった。
西郷家は持ち家だった下加治屋町の屋敷を売却することになったが、それは西郷の江戸行きの費用の借金返済に充てられたのだろう。家を売られるのを知り、伊集院家が見るに見かねて娘を引き取り、結局離婚となってしまった。西郷は離婚を悲しんだが、それ以上に国事で頭がいっぱいだった。

　奔走する西郷

安政3年（1856）頃から西郷は斉彬から密室に呼ばれ、2人だけで密談するようになった。
西郷は東湖や橋本、そして多くの志士と関わるようになり、その中で徐々にではあるが、広い視野を持つ人物に成長していった。それを見ていた斉彬が、将軍家定の跡継ぎの件で西郷を呼び出したのである。西郷はこの時の気持ちを、大山綱良宛の手紙の中に「飛揚仕候（天にも昇る心地だった）」と書いている。
ペリーが来航し、幕藩体制も危機を迎えていたが、13代将軍家定は虚弱体質で精神も薄弱だったという。そこで斉彬は数年前から徳川斉昭の子・一橋慶喜を将軍継嗣にしようと斉昭、松平慶永らと画策していた。慶喜擁立派は老中・阿部正弘も味方にして勢いを得たが、それに対して譜代大名や保守的だった大奥は、紀伊徳川家の慶福（後の家茂）を推していた。
そこで斉彬は、大奥を慶喜擁立派にするために島津一族の娘・篤姫を家定の妻にしようと画策する。しかし外様の娘を御台所にする事に反対する声が上がった為に、まず篤姫を五摂家の筆頭である公卿・近衛家の養女にした。そして家定に嫁がせたのだが、その際に大活躍したのが西郷であった。