Служба в довоенный период
Родился в слободе Марковка в семье бедного украинского крестьянина Ивана Ивановича Ерёменко (1872—1902). Был призван в Российскую императорскую армию в 1913 году, во время Первой мировой войны воевал рядовым на Юго-Западном и Румынском фронтах. После Октябрьской революции 1917 года в звании унтер-офицера вернулся домой. Весной 1918 организовал партизанский отряд для борьбы против немецких частей, оккупировавших Луганщину. Впоследствии отряд влился в Красную Армию.
В годы гражданской войны Ерёменко воевал в 1-й Конной армии С. М. Будённого, был красноармейцем, помощником командира взвода, старшиной эскадрона, начальником разведки кавалерийской бригады, помощником начальника штаба этой же бригады по оперативной части, начальником полковой школы, начальником штаба 79-го кавалерийского полка в 1-й бригаде 14-й кавалерийской дивизии Первой конной армии.
После Гражданской войны проходил обучение в Ленинградской Высшей кавалерийской школе (окончил в 1923 году) и на Ленинградских кавалерийских курсах усовершенствования командного состава (окончил в 1925 году). С октября 1925 года — начальник штаба, с декабря 1929 года — командир 79-го (затем 55-го) кавалерийского полка в 14-й кавалерийской дивизии. В 1931 году он окончил курсы командиров-единоначальников при Военно-политической академии РККА имени Толмачёва, в 1935 году окончил Военную Академии имени М. В. Фрунзе. С января 1936 года — помощник командира, с июля 1937 года — командир 22-го кавалерийского полка. С августа 1937 года — командир 14-й кавалерийской дивизии, в которой воевал в гражданской войне и служил более 10 лет после её окончания.
В июне 1938 года стал командиром 6-го кавалерийского корпуса, сформированного из частей Первой Конной армии и дислоцированного в Белорусском военном округе. В сентябре 1939 года Ерёменко во главе корпуса принимал участие в походе РККА в Западную Белоруссию. Комкор (04.11.1939). С июня 1940 года — командир 3-го механизированного корпуса в Белоруссии. В декабре 1940 года назначен командующим войсками Северо-Кавказского военного округа, но не вступив в должность, через несколько дней, в январе 1941 года назначен командующим 1-й Краснознамённой армией на Дальнем Востоке.
Западный фронт
Через восемь дней после начала войны Ерёменко вызван в Москву, где он был назначен командующим Западным фронтом, после того как предыдущий командующий — генерал армии Д. Г. Павлов — был отстранён от командования и вскоре расстрелян. Ерёменко руководил фронтом до прибытия маршала С. К. Тимошенко, после чего назначен заместителем командующего фронтом.
Смоленск
Катастрофические поражения первых недель войны полностью разрушили Западный фронт. В начале июля Западному фронту переданы войска Второго стратегического эшелона в количестве 7-и армий, общей численностью более 1 млн человек, и более 2000 танков, но сдержать наступление противника не удалось. Немецкие войска успешно переправились через Березину, Днепр и Западную Двину, при этом захватили Полоцк, Витебск, Оршу, Могилёв, Борисов, Бобруйск, Смоленск. За три недели фронт откатился на восток на 200 км (См. Смоленское сражение (1941)). В ходе боёв Ерёменко был ранен, после чего его перевели на только что созданный Брянский фронт.
