Родился в Хаги — главном городе княжества Тёсю (сейчас префектура Ямагути), в семье самурая. В 1869 году был послан изучать организацию военного дела в Европе. В 1873 году получил пост министра обороны и занялся перестройкой японской армии по прусскому образцу. Подавил восстание Сайго Такамори (Сацумское восстание 1877). Убедил императора Мэйдзи в необходимости создания Генерального штаба, подчинённого непосредственно императору. С 1878 года — начальник Генерального штаба.
В 1883 году был назначен министром внутренних дел. С 24 декабря 1889 года — премьер-министр Японии; ушёл в отставку 6 мая 1891 года из-за конфликта с первым японским парламентом. Вскоре после отставки стал одним из советников императора (гэнро). Командующий Первой японской армией в японо-китайской войне 1894—1895 годов.
В 1896 году подписал протокол Протокол Лобанова — Ямагаты о Корее.
Вторично стал премьер-министром в 1898 и пребывал во главе правительства до октября 1900 года. В мае 1900 года провёл через парламент закон, по которому министры армии и военно-морского флота могли назначаться только из числа военных, находящихся на действительной службе. Таким образом, отныне военные министры подчинялись не премьер-министру, а непосредственно императору как верховному главнокомандующему. Этим законом армия обеспечила себе почти полную автономию от гражданского руководства страны.
В течение русско-японской войны 1904—1905 годов вновь был начальником Генерального штаба. После окончания войны Ямагата удалился от активной политической деятельности, но оставался влиятельной фигурой до самой своей смерти в 1922 году.
