Учился в Консерватории Хоха во Франкфурте-на-Майне, изучал композицию, игру на фортепиано, органе, виолончели и трубе. Работал во Фрайбурге и в Дармштадте репетитором оркестра в оперных театрах, в 1927—1929 гг. руководил оркестром Дармштадтской оперы. В 1929—1935 гг. работал в Немецком театре в Праге, в 1935—1940 гг. жил и работал в Гётеборге.
С 1940 г. Макс Рудольф жил в США, в 1945 г. получил американское гражданство. В 1946—1958 гг. был одним из дирижёров Метрополитен Опера. В 1958—1970 гг. возглавлял Симфонический оркестр Цинциннати, в 1973—1974 гг. Далласский симфонический оркестр. Наиболее значительна фигура Рудольфа как музыкального педагога: в 1970—1973 и 1983—1989 гг. он заведовал кафедрой дирижирования в Кёртисовском институте музыки, написал учебник «Грамматика дирижирования» (англ. The Grammar of Conducting: A Comprehensive Guide to Baton Technique and Interpretation; 1950, переработанное издание 1980).
