С 1882 г. семья Карг-Элерта жила в Лейпциге. Здесь он начал брать частные уроки музыки у Эмиля фон Резничека, затем в качестве вольнослушателя посещал Лейпцигскую консерваторию, где учился, в частности, у Карла Райнеке, Саломона Ядассона, Роберта Тайхмюллера, Альфреда Райзенауэра и в 1901 г. начал преподавать сам в музыкальных школах Магдебурга; в это время Карг-Элерт изменил написание своего имени (Sigfrid вместо Siegfried, на скандинавский манер) и присоединил к фамилии отца слегка изменённую (Elert вместо Ehlert) девичью фамилию матери.
К 1904 г. относится важное для Карг-Элерта знакомство с музыкальным издателем Карлом Симоном, занимавшимся также продажей фисгармоний, — от него Карг-Элерт унаследовал интерес к этому инструменту, на котором в дальнейшем играл значительно больше, чем собственно на органе. В то же время среди музыкальных произведений Карг-Элерта немало предназначенных именно для органа — благодаря, в частности, общению с органистом Паулем Хомайером.
С 1919 г. Карг-Элерт преподавал в Лейпцигской консерватории, конкурируя с другим профессором композиции Германом Грабнером — в том числе в аспекте собственной симпатии к музыке разных стран и народов, противостоя тем самым ратовавшему за немецкую музыку Грабнеру; по мере усиления национал-социалистического давления этот конфликт становился всё острее, и в 1926 г. Карг-Элерт с горечью писал: «Стоит признаться в симпатии к Англии, Франции или Италии, как тебя заклеймят евреем, большевиком и предателем родины!» (нем. O, was mir die Freundschaft und Sympathie zu England, Frankreich und Italien schon oft geschadet hat, man wird sofort als Jude, Verr?ter und Bolschewik abgestempelt). В 1935 г., уже после смерти композитора, его творчество подверглось в нацистской Германии запрету наряду с другой «неарийской музыкой».
Наиболее значительны в композиторском наследии Карг-Элерта «Шестьдесят шесть хоральных импровизаций для органа» (1909) и «Тридцать каприсов для флейты» — цикл изящных миниатюр, широко используемый сегодня в обучении начинающих флейтистов.
