Молодость
Родился в 1907 году в Берлине в рабочей семье: отец деревоотделочник, мать швея. Немец. Окончил школу городской общины и гимназию. В 1921 году вступил в комсомол, а в 1925 — в Коммунистическую партию Германии. Имел легальную профессию торгового агента-экспедитора, одновременно в 1928—1931 годах работал в качестве репортёра коммунистической газеты Die Rote Fahne («Красное знамя»). Впервые арестован в 1930 году за участие в запрещённой властями демонстрации. В 1931 году во время коммунистической демонстрации в Берлине вместе с Эрихом Цимером участвовал в убийстве двух полицейских — Пауля Анлауфа и Франца Ленка. После этого Мильке был вынужден бежать в Бельгию, а оттуда в 1932 году — в Москву.
30-е годы и вторая мировая война
В Москве Мильке учился в военной школе Коминтерна имени В. И. Ленина, после её окончания с 1934 года преподавал в ней. В сентябре 1936 — марте 1939 года участвовал в гражданской войне в Испании против фашизма под псевдонимом «Фриц Ляйснер». Был начальником оперативного отдела бригады, затем инструктором 11-й интернациональной бригады и её начальником штаба, имел воинское звание «капитан». После поражения республиканцев вместе с другими бойцами интернациональных бригад перешёл франко-испанскую границу, но поскольку французские власти интернировали всех перешедших границу и помещали в лагеря для интернированных лиц, то Мильке из Франции нелегально эмигрировал в Бельгию. Там ему удалось устроиться на работу в редакцию одной из газет.
При вторжении германских войск в Бельгию во время Французской кампании 1940 года бежал во Францию, где был на некоторое время интернирован. Однако вновь сумел скрыться и жил под чужим именем, выдавая себя за латыша-эмигранта Рихарда Хебеля, работал лесорубом. Участвовал в Движении Сопротивления. В декабре 1943 года был задержан немецкими властями, но не разоблачен, после чего насильно мобилизован в военно-строительную Организацию Тодта. Работал на строительстве укреплённых сооружений, в декабре 1944 года сумел бежать и сдался в плен войскам союзников.
В послевоенной Германии и в ГДР
После победы союзников над Третьим рейхом в июне 1945 году Мильке вернулся в Берлин. Работал полицейским инспектором в Берлине, одновременно был начальником отдела полиции и юстиции в Центральном Комитете Коммунистической партии Германии. С июня 1946 года — вице-президент Немецкого управления внутренних дел. После образования 7 октября 1949 года Германской Демократической Республики (ГДР) Мильке начал работать во вновь образованной службе безопасности, с октября 1949 — генерал-инспектор Главного управления защиты экономики (первоначальное название службы безопасности), с 1950 года — статс-секретарь этой службы. С 1955 года — заместитель министра, а с ноября 1957 года по ноябрь 1989 года — Министр государственной безопасности (Ministarium fur Staatssicherheit) ГДР — «Штази». За более чем 30-летний период во главе «Штази» он сделал её одной из лучших и наиболее эффективных служб внешней разведки, когда-либо существовавших в странах-участницах Варшавского договора.
В 1959 году генерал-майору Эриху Мильке было присвоено воинское звание «генерал-лейтенант», в 1965 году — воинское звание «генерал-полковник», а в 1980 году — воинское звание генерал армии. Был членом ЦК СЕПГ с 1950 года, кандидатом в члены Политбюро ЦК СЕПГ с 1971 года, членом Политбюро ЦК СЕПГ с 1976 года. Депутат Народной палаты ГДР с 1958 года.