Происходил из рода потомственных музыкантов: отец Ипполит Рабо (фр. Hippolyte Rabaud; 1839—1900) был профессором виолончели в Парижской консерватории, мать была певицей (для неё первоначально предназначалась партия Маргариты в опере Гуно «Фауст») и, в свою очередь, приходилась дочерью выдающемуся флейтисту Луи Дорюсу.
Учился в Парижской консерватории у Жюля Массне (композиция) и Андре Жедальжа (контрапункт), в 1894 г. был удостоен Большой Римской премии за кантату «Дафна». В 1908—1918 гг. Рабо был дирижёром Парижской Оперы, затем на протяжении одного сезона работал в США, где возглавлял Бостонский симфонический оркестр. В 1920 г. с выходом на пенсию Габриэля Форе Рабо занял пост директора Парижской консерватории и оставался в этой должности вплоть до 1941 г., прославившись консервативными взглядами (он любил повторять: «Модернизм — это зло»). С началом Второй мировой войны Рабо вошёл в руководство Комитета по делам искусств при вишистском правительстве Петена.
Композиторское наследие Рабо включает пять опер, из которых наибольший успех имела написанная по мотивам «Тысяча и одной ночи» опера «Маруф, сапожник из Каира» (фр. M?rouf, savetier du Caire; 1914). Среди симфонических сочинений Рабо выделяются Дивертисмент на темы русских песен, симфоническая поэма «Ночное шествие» (1896), «Эклога» по мотивам Вергилия; среди хоровых — оратория «Иов» (1900), среди камерных — виртуозное «Конкурсное соло» для кларнета (1901), написанное для выпускного конкурса в консерватории. Рабо также писал музыку к кинофильмам.
