Работал во Франции, затем при вюртембергском герцогском дворе. В 1780 г. (по другим данным, в 1776 г.) по приглашению великой княгини Марии Фёдоровны прибыл в Россию. Служил преимущественно при «малом дворе» великого князя Павла Петровича, первоначально в должности инспектора кабинетов и галерей. Много работал как архитектор и дизайнер в Гатчине, любимом имении Павла: возвёл павильон-шутку Берёзовый домик, внешне имитирующую поленницу берёзовых дров, а внутри содержащую изысканный зал с зеркалами; соорудил также Турецкую палатку с площадкой для игр, многие деревянные мосты, в оранжерее дворца, находившейся на конюшенном дворе (с 1797 г. Арсенальное каре) им был создан театральный зал. Участвовал в разработке проекта Михайловского (Инженерного) замка.
Помимо архитектуры, Виолье много работал как художник-миниатюрист. Кроме того, он занимался театром, излюбленным развлечением при Малом дворе. Он был постановщиком множества спектаклей, игравшихся «в продолжение многих лет дамами и кавалерами Двора». В частности, в Гатчине он поставил пантомиму, в которой играл «сложную роль», концерт «Деревенский праздник» и «Праздник Ярмарки» (видимо, кукольный спектакль, на котором он руководил марионетками). По случаю закладки гатчинского госпиталя им был сочинен «Праздник мельницы».
В 1791 г. по неизвестной причине Виолье впал в немилость великого князя и был вынужден удалиться в Москву. В дальнейшем с воцарением Павла I служил инспектором кабинета эстампов и миниатюр в Зимнем дворце, в чине надворного советника. Затем отбыл в Париж, но в 1812 г. вернулся в Россию. Похоронен в Санкт-Петербурге на Волковом кладбище.
