Детство
Родился в Берлине, в семье, принадлежащей к одной из старейших раввинских династий в Германии (документально зафиксировано 18 поколений этой семьи). Отец, Нафтали Карлебах, был авторитетным раввином. Шломо был назван в честь деда — Соломона Карлебаха, известного религиозного деятеля Германии, который был главным раввином Любека. Томас Манн, тоже живший в Любеке, писал о нём: «У меня сохранилось впечатление, что длиннобородый, в шляпе, доктор Карлебах далеко превосходил своих коллег другой веры в знаниях и религиозном проникновении.»
Мать Шломо, Паула Кон, тоже происходила из семьи раввинов. Её отец, Ашер Михаэль Коган, был главным раввином г. Базель (Швейцария), основателем международной еврейской организации «Агудат Исраэль».
В возрасте четырёх лет Шломо изучал Тору с комментариями Раши, а в пять лет начал изучать Талмуд.
В 1933 году семья была вынуждена покинуть Германию и поселилась в Австрии, близ Вены. В 1938 году вся семья отправилась в город Телц, где глава знаменитой Поневежской иешивы устраивал бар-мицву своему сыну. Шломо решили оставить в иешиве, и учёба в ней стала поворотной точкой в его жизни.
В 1939 семья перебралась в Америку, Карлебахи поселились в Манхэттене, где отец основал общину «Кеилат Яаков», ставшую известной впоследствии как «Карлебах Шул».
Поющий раввин
В 1949 году Шломо Карлебах и его друг Залман Шехтер-Шломи были приглашены на встречу с шестым любавичским ребе Йосефом-Ицхаком Шнеерсоном. «Пришло время вам обоим начать посещения университетов», — сказал Ребе без особых предисловий. Друзьям было поручено организовать празднование Хануки для евреев Брандейского университета. Задание было выполнено наилучшим образом. С начала 50-х годов, первоначально в качестве эмиссара ребе Менахема Мендла Шнеерсона, Шломо Карлебах начал поездки по всему миру с концертами, беседами, организацией праздников, свадеб, бар-мицв и т. д.
В СССР
Впервые в Россию Шломо Карлебах приехал в 1970 году, организовав празднование Симхат-Тора в Московской хоральной синагоге на ул. Архипова (известной среди диссидентов как «горка»). В 1988—1989 годах, в эпоху перестройки, выступил с 21 концертом в туре по городам СССР и Польши. Своими приездами неизменно вызывал у слушателей волну радости и духовного подъёма.
