享保5年（1720）に奉行所が下田から浦賀へ移された。 奉行所では、船改めの他、海難救助や地方役所としての仕事を行っていた。また、文化・文政年間（1804～1830）のころから、たびたび日本近海に出没するようになった異国船から江戸を防備するため、海防の最前線としてさらに重要な役割を担うようになった。奉行所が移設された享保5年から江戸幕府が倒れた慶応4年（1868）までの約150年間に、奉行は一時2人制の時期もあったが、初代堀隠岐守から最後の土方出雲守まで延べ52人が勤めている。 現在、奉行所敷地を取り囲む堀の石垣と、表門の前にかかっていた伊豆石の石橋が残るだけになっている。