Родился в Киеве, в семье дирижера Карла Менгельберга, один из родственников Виллема Менгельберга. Учился архитектуре, с 1958 по 1964 гг. учился в Королевской консерватории Гааги (Нидерланды). В то же время стал лауреатом джазового фестиваля в Loosdrecht. Его ранние работы находились под влиянием таких музыкантов как Телониус Монк, Дюк Эллингтон, Джон Кейдж.
Миша Менгельберг играл со многими известными музыкантами, среди которых Дерек Бейли, Петер Брёцман, Эван Паркер, Энтони Брэкстон. В 1967 году вместе с Виллемом Бройкером и Ханом Беннинком составил костяк авангардного ансамбля Instant Composers Pool.
