В 1904—1908 гг. учился в Вене у Арнольда Шёнберга и Александра фон Цемлинского, став одной из ключевых фигур сложившегося вокруг Шёнберга кружка авангардно мыслящих музыкантов. Переложил шёнберговскую симфоническую поэму «Пеллеас и Мелизанда» для фортепиано в четыре руки. В 1911 г. окончил курс музыковедения в Венском университете у Гвидо Адлера.
Работал репетитором и дирижёром в Регенсбурге, Данциге, Штеттине, Вене, Кёльне, в 1920 г. помогал Цемлинскому в формировании новосозданной Немецкой академии музыки и театра в Праге. В 1935 г. дирижировал в Праге премьерой Симфониетты Цемлинского.
В 1938 г. эмигрировал в США и до самой смерти возглавлял музыкальную программу Блэк-Маунтин-колледжа. Как отмечают современные исследователи, благодаря Яловецу и его коллегам, также беженцам, атмосфера в колледже пропиталась практиками и идеями Вены рубежа веков, и будущие ведущие американские композиторы начиная с Джона Кейджа приезжали туда ради этого.
