　山本内閣倒壊陸軍の整備費追加は

山本内閣の成立は、日本の政治史上で閥族政治から政党政治への転換の過渡的な役割をなすものであった。だが、この内閣は比較的短命で、シーメンス事件で倒れるまでの約1年であったため、高橋の大蔵大臣としての特筆すべき事績はなかった。
高橋の所管の予算は、大正2年分はだいたい前内閣のものを踏襲し、大正3年度分は行政整理を織り込み、歳入の面では所得税法を改正して、法人課税率を強化するとともに第三種の免税点を引き上げ、勤労所得の控除を行い、営業税・相続税の軽減、取引税・関税の改正を企てた。しかし、問題は歳出における海軍拡張費であり、これが実にこじれて内閣の命取りになった。山本はどんなに政友会と妥協しても、海軍の大御所である。高橋に編成させた国防充実費は、前年度にその一部の承認を受けた8千4百万円のほかに、新規計画7千万円を計上し、合計1億5千4百万円とし、大正3年度支出額として1千万円を要求した。これに反し、陸軍の整備費追加はわずか3百万円にすぎず、問題になっていた朝鮮二個師団増設の予算などは全然出てこない。山本の閥族打倒などのやり口に不満を持っていた長州閥とその陸軍は真っ先に海軍偏重の声をあげて在野党を煽動した。そして海軍費の削減でもみあっているうちに、内閣にとって致命的なシーメンズ事件が発生し、ついに大正3年3月24日山本内閣は予算不成立の責任を負って総辞職した。高橋も大蔵大臣を辞することになる。
だが、高橋は政友会という党人の社会で財政経済の第一人者として、間もなく党の政綱政策決定に指導力を持つようになった。

　原と一致する高橋の中国見解

政友会は、西園寺の引退後は原敬が総裁となり、陣容を整えていた。原は事大主義の世の中に、平民で相殺となることのハンディキャップを知っていたが、彼はまず党の組織強化のために、高橋、山本ら長老16名の相談役を解いて、むしろ彼に不満を抱いていた大岡育造、元田肇の両名と、奥田義人の3人を総務委員に指名した。高橋は党の選挙委員長に推された。だが、これほどの陣容をもってしても、政友会は危急存亡の苦闘続きであった。高橋も必死で財政経済の話を演説で行うが、結局政府側の戦術と運動が功を奏し、大正4年の選挙では政友会は惨敗し、第二党に転落。大隈重信内閣は安定するかに見えた。
しかし、大隈も実際政治では失敗を重ね、ことに中国に対する二十一か条要求に絡む外交の不手際や、これによって激発された抗日運動の発展は、野党の見逃すところではなかった。結局内閣不信任案が出され、早稲田の政治批評家として、私設外務大臣として放談していたときは人気を博したものの、実際政治面では大隈の運営は失政続きであった。大正5年10月4日、大隈は減債基金還元問題で退陣を余儀なくされた。
中国に対する政策については、政友会は原と高橋がまったく一致した見解で、二十一か条などをたきつけて威圧するよりも、むしろ日華両国が経済的に提携し、東洋の平和を確立して、英米仏の資本を導入し、産業を興すことが急務だというのが高橋の持論であり、原も大正6年11月21日の政友会関西大会の演説で「大隈内閣の当時の二十一か条などは中国の反感を買うだけで、列国の猜疑を招き、我が国の孤立を招きかねない。速やかにその方針を改めて、日華親善の実を挙げるべきだと説いたが、相手にされなかった」という趣旨のことを述べた。
しかし、このような政友会の中国に対する親善政策も、のちに原が殺され、高橋が退いて田中儀一が総裁となるとすっかり踏みにじられ、日本を侵略主義へ駆り立てるきっかけを作るようになる。

　原内閣成立

大隈退陣の後を受けて成立した寺内内閣は、大戦の好景気のうちに過ごすのであるが、好況に伴う物価騰貴と、これを利用した大商人の売り惜しみを原因とする米価の暴騰から、大正7年8月ついに米騒動が起こり、翌9月内閣総辞職となった。
西園寺に組閣の大命が下ったが、西園寺はこれを固辞。山県、松方の両元老を説いて、原敬を推した。かくして、ここに始めて政友会を主体とする政党内閣が9月27日出現した。高橋はこの平民宰相のもとに二度目の大蔵大臣を務めるのである。そして、この戦後経済（第一次世界大戦）においてとった原内閣の積極政策の推進者として、高橋の放漫財政がこのときに特徴づけられることになるのである。
このとき高橋は65歳になっていたが、この当時常に側についていた津島寿一の表現によれば「この時代の高橋さんは、非常に元気であり、政治家としても大いに円熟され、貫禄いやがうえに豊かになってことを私は深く印象付けられたのであった」といわれる。