Сын учителя музыки, учился у своего отца игре на скрипке и кларнете. В юности выступал как скрипач в оркестре и соло. После одного из концертов в Любеке получил поддержку богатого любителя музыки, позволившую поступить в 1863 г. в Лейпцигскую консерваторию к Фердинанду Давиду. Затем, однако, травма руки вынудила Свенсена переключиться на обучение композиции, и он окончил консерваторию в 1867 г. как ученик Морица Гауптмана, Эрнста Рихтера и Карла Райнеке.
В 1868?1870 гг. жил в Париже, затем снова в Лейпциге. В 1872—1877 и 1880—1883 гг. руководил оркестром Музыкального общества в Христиании, в промежутке дирижировал в Германии (в том числе на Байройтском фестивале), Франции, Англии, Италии. В 1883 г. возглавил датский Королевский оркестр и руководил им до 1908 года.
Свенсену принадлежат две симфонии (1867 и 1874; третья симфония также была написана, но единственный экземпляр партитуры был сожжён его первой женой в результате семейной ссоры — бытует мнение, что этот эпизод вдохновил Генрика Ибсена на эпизод с сожжением рукописи в «Гедде Габлер»). Свенсен написал также четыре Норвежские рапсодии и ряд других симфонических поэм (в том числе «Карнавал норвежских художников» и «Карнавал в Париже»), скрипичный и виолончельный концерты, три струнных квартета; наиболее известным его произведением остаётся Романс для скрипки с оркестром (1881), впервые исполненный гастролировавшим в Норвегии Станиславом Барцевичем. Симфонические произведения Свенсена отличаются богатством оркестровки.
