Начинал занятия скрипкой в Бреслау у Петера Люстнера, в 1832 г. вместе с семьёй переехал в Берлин, где занимался первоначально у Людвига Маурера и Наполеона Сен-Любена, затем у Карла Фридриха Рунгенхагена. Далее Штерн отправился в Дрезден, где его консультировал знаменитый вокальный педагог Иоганн Алоиз Микш, а оттуда в Париж, где возглавил Немецкое Певческое общество. В 1846 г. Штерн вернулся в Берлин и год спустя основал Певческое общество Штерна (нем. Stern Gesangverein) — в дальнейшем один из ведущих хоров Германии; Штерн руководил им до 1874 г., когда из-за ухудшившегося здоровья был вынужден подать в отставку. Значительным успехом, первым в ряду достижений хора, стала премьера в 1847 г. оратории Мендельсона «Илия».
В 1850 г. Штерн вместе с Теодором Куллаком и Адольфом Бернхардом Марксом основал в Берлине частную консерваторию, известную как Консерватория Штерна. С 1857 г. он остался её единоличным руководителем.
