Начало военной карьеры
В сентябре 1911 года поступил на военную службу, фанен-юнкером (кандидат в офицеры), в пехотный полк. С июня 1913 — лейтенант.
Первая мировая война
С 2 августа 1914 года — на фронте. С августа 1916 — старший лейтенант. Служил на штабных должностях уровня батальон, полк. За время войны награждён Железными крестами обеих степеней, Рыцарским крестом Гогенцоллерна и ещё двумя орденами. Был ранен.
Между мировыми войнами
Продолжил службу в рейхсвере. К началу Второй мировой войны — начальник курса в военном училище, полковник.
Вторая мировая война
С октября 1939 года — командир полка 8-й пехотной дивизии (на западной границе Германии). В мае-июне 1940 года участвовал во Французской кампании, награждён планками к Железным крестам обеих степеней (повторное награждение).
С 22 июня 1941 года участвовал в германо-советской войне. Бои в Белоруссии, в районе Смоленска, под Москвой. В августе 1941 года награждён Рыцарским крестом (№ 434).
С января 1942 года — командир 6-й пехотной дивизии, генерал-майор. Бои в районе Ржева. С января 1943 — генерал-лейтенант, в феврале 1943 года награждён Золотым немецким крестом.
В июле-августе 1943 — бои на Курской дуге, в сентябре 1943 награждён Дубовыми листьями (№ 292) к Рыцарскому кресту.
С января 1944 года — командующий 55-м армейским корпусом. Бои в районе Бобруйска.
С августа 1944 года — командующий 6-м армейским корпусом. Бои в Восточной Пруссии. С ноября 1944 года Гроссман произведён в звание генерал пехоты.
9 мая 1945 года генерал пехоты Гроссман взят в британский плен. Отпущен из плена в июле 1947 года.
