Начало карьеры
Сын генерал-майора, возведенного в дворянство (по отцу) в 1913 году. В 1899 году вступил в 46-й артиллерийский полк фанен-юнкером (кандидат в офицеры), в марте 1901 года произведен в лейтенанты. В 1911 году окончил Военную академию, в марте 1912 переведён в Генеральный штаб.
Первая мировая война
2 августа 1914 произведён в капитаны, направлен служить в штаб 21-го армейского корпуса. Затем служил в штабе Южной армии и в штабе Альпийского корпуса. С весны 1918 — начальник оперативного отдела штаба 236-й пехотной дивизии. В октябре 1918 получил тяжёлое ранение под Верденом.
Награждён Железными крестами обеих степеней, ещё четырьмя германскими и двумя австрийскими орденами.
Между мировыми войнами
После войны продолжил службу в рейхсвере. В 1921—1923 годах в штабе 3-й пехотной дивизии. В апреле 1923 года произведён в майоры. С 1923 года служил на штабных должностях в военном министерстве. С 1926 командир 5-го батальона 3-го артиллерийского полка, с февраля 1929 года начальник штаба 1-й кавалерийской дивизии (Франкфурт-на-Одере). В феврале 1930 года произведён в полковники. С марта 1930 года командир 2-го артиллерийского полка (Штеттин). С октября 1931 года начальник артиллерии 3-го военного округа (Берлин). В феврале 1933 года получил звание генерал-майор. С октября 1933 инспектор войск связи сухопутных войск. В апреле 1934 года произведён в генерал-лейтенанты.
С октября 1934 года командир 6-й дивизии и командующий 6-м военным округом (Мюнстер). С апреля 1935 года — командующий 6-м армейским корпусом и 6-м военным округом. В августе 1936 года получил звание генерал артиллерии. С ноября 1938 года командующий 6-й группой войск (Ганновер). С 26 августа 1939 года — командующий 4-й армией.
Вторая мировая война
Польша
В начале войны командовал 4-й армией, за 3 дня перерезал Польский коридор. За Польскую кампанию награждён планками к Железным крестам (повторное награждение) и Рыцарским крестом (№ 1). В октябре 1939 года произведён в генерал-полковники.
Франция
Во время Французской кампании 4-я армия действовала на правом фланге группы армий «А». После Французской кампании, в июле 1940 года, Клюге получил звание генерал-фельдмаршала.
СССР
Во время вторжения в СССР 4-я армия в составе группы армий «Центр» наступала западнее и северо-западнее Бреста. 26 июня Гитлер, вопреки мнению командующего группой «Центр» фон Бока приказал Клюге передать командование пехотными дивизиями штабу 2-й армии, а самому возглавить действия 2-й и 3-й танковых групп, что привело к трениям с командующим этими группами Гудерианом и Готом. Оба танковых командира полагали, что фон Клюге распоряжался танковыми силами неумело, что позволило некоторой части советских войск избежать окружения во время битвы за Смоленск. Командующий 2-й танковой группой Гудериан часто игнорировал приказы Клюге, что привело к значительным личным трениям, вплоть до того, что эти два военачальника собирались драться на дуэли. В начале августа Клюге вновь перевели командующим пехотным корпусом.
В сентябре Клюге выступал против начала наступления на Москву, понимая, что войска не готовы к зимней кампании. Во время самого наступления продвигался вперед столь медленно и неохотно, что вызвал нарекания командующего 4-й танковой группой Э. Гёпнера, на которого легла основная тяжесть наступления.