Учился музыке в Брюгге, затем в Ливерпуле и наконец в лондонском Королевском музыкальном колледже под руководством Чарльза Вильерса Стэнфорда и Акилле Риварде. В 1912—1915 гг. играл на скрипке в оркестре Томаса Бичема, затем стал помощником дирижёра, в 1916 г. привлёк к себе первое внимание, когда под его руководством состоялась премьера оперы Стэнфорда «Критик». Одновременно с 1915 г. играл на скрипке в Филармоническом квартете (вместе с виолончелистом Седриком Шарпом). В 1921 г. ушёл от Бичема и создал собственный оркестр, в частности, исполнивший впервые в Великобритании музыку балета Стравинского «Весна священная» (7 июня 1921 г. в присутствии композитора).
В 1923 г. Гуссенс был приглашён в США и возглавил новосозданный Рочестерский филармонический оркестр, одновременно преподавая в Истменовской школе музыки. В 1931—1946 гг. он руководил Симфоническим оркестром Цинциннати. В 1947 гг. Гуссенс переехал в Австралию и возглавил Сиднейский симфонический оркестр и Консерваторию Нового Южного Уэльса. В 1955 г. он был возведён в рыцарский чин, однако уже в 1956 г. был вынужден оставить все посты из-за публичного скандала в связи с обнаруженными у него порнографическими фотографиями. Гуссенс вернулся в Англию и до конца жизни практически не концертировал, однако оставил несколько поздних записей, в частности, впечатляющую запись «Празднеств Рима» Отторино Респиги.
Композиторское наследие Гуссенса включает оперу «Дон Жуан из Манары», ораторию «Апокалипсис», две симфонии (1940 и 1945), концерт для гобоя с оркестром (1927, предназначен для его брата Леона), два струнных квартета, две скрипичные сонаты, другую камерную музыку. Как дирижёр Гуссенс особенно известен тем, что в 1942 г. от имени оркестра Цинциннати заказал целому ряду американских композиторов торжественные пьесы в честь героизма солдат Второй мировой войны — среди восемнадцати пьес, исполненных оркестром в сезоне 1942-43 гг., были и знаменитые «Фанфары простому человеку» Аарона Копленда.
Скандальный роман Гуссенса с адептом эротического оккультизма Розалин Нортон, приведший к завершению его карьеры, нашёл отражение в нескольких художественных произведениях, в том числе в опере австралийского композитора Дрю Кроуфорда «Юджин и Роя» (англ. Eug?ne & Roie; 2004).
