Пользуясь некоторой известностью во Франции и будучи членом Парижской академии изящных искусств, прибыл, по приглашению И. И. Шувалова, в 1758 году в Санкт-Петербург и поступил на службу по контракту, во вновь учреждённую Императорскую Академию художеств профессором скульптуры, сроком на три года, но исполнял эту должность в течение двадцати лет. Под его руководством обучались талантливые Шубин, Гордеев, Федос Щедрин, Иванов и практически все остальные русские ваятели, обучавшиеся в академии с 1758 по 1778. В 1767 он был произведён в адъюнкт-ректоры академии.
В 1778 году, по собственному желанию, был уволен со службы в этом учреждении, с пенсией по 400 руб. в год, и уехал на родину (в Мец). Из произведений Жилле, выполненных во Франции, известны мраморные статуи: «Парис, подающий золотое яблоко Венере» (1757 году; находится в Лувре, в Париже) и «Геркулес, подносящий Еврисфею эриманфского вепря», каменные группы: «Зефир и Флора» и «Вертумн и Помона» и некоторые другие. Из его работ в России уцелел только портретный бюст И. И. Шувалова.
