На I играх 1896 года, Хершман участвовал только в заплыве на 100 м вольным стилем. С результатом 1:22,8, он занял второе место, уступив только венгру Альфреду Хайошу.
На следующий играх в 1912 году, Хершман уже выступал как фехтовальщик в составе австрийской команды в соревнованиях по сабле. В четверть финальных группах, его команда по разу обыгрывала Нидерланды и Данию. В полуфинале, она обыгрывала Германию и Италию, но проиграла венгерской команде. В финале, Австрия снова оказалась слабее Венгрии, но победила у Нидерландов и Богемии, и заняла второе место. Во время этих соревнований, Хершман был президентом национального олимпийского комитета, и сейчас он считается единственным главой НОК, выигравшим медаль на Олимпийских играх.
Хершман был евреем по национальности. После прихода нацистов к власти в Германии в 1933 году, он попал в опалу, и 14 июня 1942 года он был арестован и отправлен в концентрационный лагерь Собибор, в котором умер через три дня.
После смерти, Хершман был включён в Международный еврейский спортивный зал славы в 1989 году. Также, в честь него названа одна из улиц Вены.
