Кроме двух наград Ямамото японцы в стрельбе из лука выиграли на Олимпийских играх лишь одну медаль — Хироси Митинага завоевал серебро в личном мужском первенстве в 1976 году в Монреале.
Ямамото дебютировал на Олимпийских играх в 1984 году в Лос-Анджелесе в возрасте 21 года и сразу выиграл бронзу в личном зачёте, лишь 1 очко уступив американцу Рику Маккинни в борьбе за серебро (2563 очка против 2564).
Через 4 года на Играх в Сеуле занял 8-е место в личном первенстве и 6-е в командном. В 1992 году в Барселоне был 17-м в личном первенстве и 15-м в командном. В 1996 году в Атланте занял 19-е место в личном первенстве.
Олимпийские игры 2000 года в Сиднее Хироси пропустил, а к началу следующих Игр в Афинах ему был уже 41 год, что не помешало японцу триумфально вернуться на Олимпиаду. В квалификации на знаменитом афинском стадионе «Панатинаико» Ямамото показал 9-й результат. В первых трёх раундах «плей-офф» Хироси выиграл по 8 очков последовательно у француза Франка Фиссё, итальянца Микеле Франджилли и украинца Александра Сердюка. В четвертьфинале японцу пришлось встретиться с 18-летним корейцем Им Дон Хёном, чемпионом мира 2003 года в команде и вице-чемпионом в личном первенстве, который выиграл квалификацию с огромным преимуществом. В упорной борьбе японец сумел выиграть у своего соперника, который был на 23 года моложе — 111—110. В полуфинале Ямамото встретился с 17-летним австралийцем Тимом Каддихи (самым молодым участником олимпийского турнира по стрельбе из лука), который до этого последовательно выбил из борьбы 2 корейских лучников. В основной серии выстрелов оба спортсмена набрали по 115 очков, повторив олимпийский рекорд. Дополнительным выстрелом Ямамото выбил 10-ку, тогда как юный австралиец попал в 9-ку и уступил японцу. В финале Ямамото встретился с ещё одним дебютантом Олимпийских игр — 21-летним итальянцем Марко Галиаццо. На этот раз Хироси не смог одолеть более молодого соперника уступив со счётом 109—111, хотя после начальных выстрелов и лидировал. Галиаццо принёс Италии первое золото в стрельбе из лука на Олимпийских играх. Тем не менее Ямамото добился редкого успеха — спустя 20 лет после бронзы на своей дебютной Олимпиаде он сумел выиграть серебро.
