Родился в семье министериалов, зависимых от ландграфов Тюрингии и пфальцграфов Саксонии.
В 1196 году отправился на Святую землю. В 1216 году встретился и вскоре стал доверенным лицом императора Фридриха II, для которого был с 1222 посредником между ним и папой римским Григорием IX. Однако и папа ценил способного рыцаря, и Герман добился того, что Тевтонский орден получил такие же привилегии, как более старые ордена Иоаннитов и Тамплиеров. Каждое пребывание Германа у папы или императора заканчивалось новыми подарками и привилегиями для ордена. У папы он прежде всего добился равного статуса Тевтонского ордена с упомянутыми орденами и включения в его состав Ливонского ордена (1237), император подарил ордену Пруссию. Важность роли Германа как посредника между императором и Папой подчёркивает то обстоятельство, что после его смерти папа Григорий IX и император Фридрих II больше не нашли общий язык.
Выдающийся дипломатический талант фон Зальца проявился также во время его посреднических миссий в спорах императора с городами Ломбардии, переговоров с королем Дании Вальдемаром II и в ходе организации императором крестового похода. Это явилось причиной роста как его личного, так и влияния и значения крестоносцев в целом, а также к получению ими значительных территориальных приобретений.
Герман фон Зальца был ловким и энергичным политиком. Понимая, что господство крестоносцев на Ближнем Востоке недолговечно, он предпринял попытки создания орденского государства на европейском континенте. Он принял в 1211 г. приглашение венгерского короля Андрея III перебазировать основные силы Тевтонского ордена в Трансильванию в обмен на обязательство защищать венгерские земли от набегов половцев. Однако когда Герман фон Зальца преподнёс дарованную ему Андреем III венгерскую землю римскому папе в качестве лена, король в 1225 г. изгнал тевтонов из Венгрии.
Не прошло и года, как Герман фон Зальца заключил договор с польским князем Конрадом Мазовецким. По договору, орден получил Хелминскую землю взамен на обещание бороться с пруссами. Так было положено начало государства Тевтонского в Восточной Прибалтике.
Умер Герман фон Зальца в Салерно и был похоронен в часовне крестоносцев в г. Барлетта (Апулия).
