生于萨摩藩（今鹿儿岛县）鹿儿岛下级武士家庭，卒于鹿儿岛。幼名吉之助，号南洲。自幼受严格的武士训练。1844年起，任下级官吏。1854年，成为开明派藩主岛津齐彬的亲信扈从，随其往江户（今东京）参与藩政，并为尊王攘夷运动奔走。1858年，幕府兴“安政大狱”，他受本藩驱逐，于绝望中投海自杀未遂。后两次被流放。1864年，被召回藩，在京都掌握藩的陆海军实权。同年，参与镇压尊王攘夷派的第1次征讨长州藩的战争。后预料幕府将亡，遂积极投身倒幕运动。1866年3月，在京都同长州藩倒幕派领导人木户孝允等人缔结“萨长倒幕联盟”密约。1868年1月3日，与岩仓具视、大久保利通等人发动“王政复古”政变，建立明治新政府。在同年的“戊辰战争”中任大总督参谋，指挥讨幕联军，取得了战争的胜利。回鹿儿岛任萨摩藩藩政顾问，后任藩大参事，参与藩政改革。1871年，到东京就任明治政府参议。

在岩仓使节团出访期间，他作为留守政府实权人物主持国政。1872年，任陆军元帅兼近卫军都督。在此前后，参与“废藩置县”、地税改革等资产阶级改革。他鼓吹并支持对外侵略扩张。1873年10月，因坚持“征韩论”遭大久保利通等人反对，辞职回到鹿儿岛，兴办名为“私学校”的军事政治学校。1877年1～9月，被旧萨摩藩士族推为首领，发动反政府的武装叛乱，史称西南战争。9月24日兵败后于鹿儿岛城山自杀。