　乗船

三郎助はこの時期、応接掛に任命されていた。このような場合、直ちに番船で異国船に接近、退去を求める巻物（フランス語で記された文書）を提示するのが役割である。三郎助は通詞の堀達之助とともに番船に乗り、艦隊中最も大きな船であるサスケハナ号に近づいて退去を通告した。
このとき三郎助が乗った船は、蒼隼丸の同型船宸風丸であったようだ。ペリーの公式記録「日本遠征記」には、この船について「防備船の船型が美しいので、何人も大いに称賛した。ちなみにそれはアメリカのヨットの型と著しく似ていた」と記されている。著しく似ていたとすれば、船体も帆の様式も、外観は完全に洋式スループ型であったのだろう。
しかし、三郎助が退去を求める巻物を示しても、アメリカ船は全く応じる様子はない。幕府の相応の地位の役人が来ない限り、一切の問答もしないという姿勢である。
三郎助はやむなく独断で大芝居をうつ。
「自分は副奉行である。乗船を求める。」
奉行所に副奉行という役職はないが、次席とでも言わないことには、退去通告すらできないという状態であった。アメリカ側からは、では通詞と共に乗れという返答がある。
三郎助は、達之助と一緒に縄梯子を上って、サスケハナ号の甲板上に立った。驚いたことに、サスケハナ号の乗員たちは戦闘態勢であった。

　堂々と渡り合う

アメリカ側から出てきたのは、ペリーの副官のコンティ―大尉である。コンティーは、「司令官であるペリーは和新修好条約を締結せよという使命を受け、合衆国大統領から日本国皇帝への国書を奉呈するために来航した。相当の役人を当艦へ派遣されたい」と言った。
これに対し、三郎助は次のように伝えた。
「我が国の国法では、外交上の交渉は長崎以外ではできぬ。長崎へ回航されたし。」
しかし、アメリカ側は強硬である。あくまでもここで高位の責任者に国書を渡すという。ここで受け取れぬのなら、直接江戸へ出向いた高官に手渡すとのことであった。
若し江戸湾にこの艦隊が侵入したら、江戸湾警備の四藩の警備部隊は、ためらわず砲撃を開始する。艦隊が反撃して戦闘となれば、日本側に勝ち目はない。三郎助は、話に聞くアヘン戦争の顛末を思い出していたことだろう。
押し問答の末、三郎助はいったん引き下がることを決める。来航目的を奉行に伝えると言い残して、退艦することにした。
三郎助が海岸に戻ると、奉行の戸田氏栄は三郎助にもう一度行って退去を求めてこいと指示する。交渉はすべて長崎で行う、ここでは応接できないから長崎へ回航せよと伝えよと。すでにその通告は居全つぁれて引き下がってきたのだが、氏栄にそのニュアンスがわからない。二時間後、三郎助はもう一度サスケハナ号を訪れる。
コンティーは、それが当地責任者の正式回答というのであれば、江戸湾を奥に進んで直接幕府高官に国書を手渡すまでであると。
三郎助は時間稼ぎを狙うしかない。「明日、改めて回答したい。明朝まで時間がほしい」
コンティーは、「判断できる責任者にきていただきたい」というと、三郎助は「責任者が参ります」と独断で回答する。三郎助と達之助は退艦することになった。

　退去を諦める

このとき、中国語通訳として乗っていたS・ウェルズ・ウィリアムズの回想記によれば、三郎助は次席奉行を名乗った割には、つい技術者的振る舞いを見せたようである。
去り際に、三郎助が船尾へ足を運んで巨砲を見ると、「これはパクサンス砲ではないのか。射程距離は」と尋ね、また舷門近くの砲の引き金を調べたりしていたという。
さて、三郎助の報告を聞いた氏栄は、翌日は与力の香山栄左衛門に奉行を装わせて、サスケハナ号に送ることを決めた。氏栄は、事の重大さに自分が出ていって言質をとられたくなかったのであろう。
翌朝、栄左衛門は、いかにも高官らしいきらびやかな衣装をまとって、サスケハナ号を訪れた。栄左衛門を奉行と信じたアメリカ側は改めて来航目的を告げ、浦賀で国書の引き渡しができないならば江戸へ行くと通告している。
栄左衛門は、退去させることを諦め、四日間の猶予をもらって、幕閣から国書を受け取るか否かの返答させると告げた。アメリカ側もこれを了承した。船を下りた栄左衛門は氏栄に報告すると、直ちに江戸へ向かった。
老中の阿部正弘は、丸一日協議した末に、国書受理を決めた。栄左衛門はその返答を持って浦賀に戻り、サスケハナ号を訪ねて受領する旨をコンティー大尉に告げた。受理の場所は、浦賀の隣の久里浜。期日は二日後ということになった。