Учился в Женевской консерватории у Отто Барблана, затем в Парижской консерватории у Габриэля Форе и Шарля-Мари Видора. Окончив курс в Париже в 1906 г. с первой премией по фортепиано, Фрай отправился в Берлин и затем в Бухарест, где некоторое время был придворным пианистом. В 1910 г. Фрай получил первую премию проводившегося в Санкт-Петербурге конкурса имени Антона Рубинштейна за своё фортепианное трио. В 1912—1917 гг. был профессором сольного фортепиано в Московской консерватории. Вернувшись в Швейцарию после революции в России, вплоть до смерти преподавал в Цюрихской консерватории; среди его учеников, в частности, Нико Кауфман.
Композиторское наследие Фрая включает две симфонии, фортепианный, скрипичный и виолончельный концерты, фортепианный квинтет, струнный квартет, другую камерную и вокальную музыку (в том числе романс «Молитва» на стихи Лермонтова, 1916). Фраю также принадлежит учебник «Осмысленная и состоявшаяся фортепианная игра и её технические основания» (нем. Bewu?t gewordenes Klavierspiel und seine technischen Grundlagen; 1933).
