Окончил Истменовскую школу музыки (1936), затем занимался в Беркширском музыкальном центре под руководством Сергея Кусевицкого. С 1943 по 1985 гг. дирижёр Оркестра Национальной галереи (Вашингтон). В 1960 г. удостоен Премии Дитсона, присуждаемой Колумбийским университетом лучшему американскому дирижёру.
В композиторском наследии Бейлза наиболее известны программные произведения на темы истории США, прежде всего из времён Войны за независимость и Гражданской войны. Сочинение Бейлза «Республика» (англ. The Republic) исполняется в ходе каждой инаугурационной церемонии Президента США начиная с 1955 года.
