Сын Леона Брусиловского и Доры Эпштейн. Учился в Кёртисовском институте музыки как скрипач, а затем в Филадельфийской музыкальной академии у Пьера Монтё как дирижёр (в свои 16 лет Брусилов стал самым юным его студентом). В 1949 году получил четвёртый приз на Конкурсе имени Лонг и Тибо. Выступал как солист с различными американскими оркестрами, на протяжении четырёх лет был помощником концертмейстера в Кливлендском оркестре, затем в течение семи лет — концертмейстером в Филадельфийском оркестре под началом Юджина Орманди; в ряде известных записей Филадельфийского оркестра этого периода (в том числе во «Временах года» Вивальди) Брусилов солирует.
В 1970—1973 годах Брусилов управлял Далласским симфоническим оркестром в качестве главного дирижёра и исполнительного директора. После этого он остался в Далласе, возглавив подготовку дирижёров в Университете Северного Техаса (до 1982 года), Южном методистском университете (1982—1989) и вновь Университете Северного Техаса (1989—2008).
