После войны в 1945—1946 годах — главнокомандующий Центральной группы войск на территории Австрии и Верховный комиссар по Австрии. С 1946 года — главнокомандующий Сухопутными войсками — заместитель министра Вооружённых Сил СССР. С 1950 года — главный инспектор Советской Армии — заместитель Военного министра СССР. В 1951—1955 годах — командующий Прикарпатским военным округом. В 1953 году — председатель Специального судебного присутствия, судившего Л. П. Берию и приговорившего его к смертной казни.
В 1955—1956 годах — 1-й заместитель министра обороны СССР и Главнокомандующий Сухопутными войсками. В 1956—1960 годах — 1-й заместитель министра обороны СССР, c 1955 одновременно Главнокомандующий Объединенными вооруженными силами стран Варшавского договора (в этом качестве руководил подавлением венгерского мятежа 1956). В 1960—1961 и с апреля 1962 в Группе генеральных инспекторов МО СССР. В 1961—1962 годах, в период Берлинского кризиса — главнокомандующий Группой советских войск в Германии.
участник Великой Отечественной войны, стрелок 459-го стрелкового полка 42-й стрелковой дивизии 49-й армии 2-го Белорусского фронта, Герой Советского Союза