Учился с 1881 г. в Консерватории Шарвенки у самого Ксавера Шарвенки, Филиппа Рюфера и Альберта Беккера, затем с 1883 г. в Берлинской Высшей школе музыки у Вальдемара Баргиля и Карла Генриха Барта. В 1893 г. защитил в Ростоке диссертацию, посвящённую творчеству итальянского органиста Джироламо Дирута.
В 1895—1931 гг. активнейшим образом публиковался как музыкальный критик в берлинских газетах «Vossische Zeitung», «Der Tag», «Moderne Kunst», «Deutsche Rundschau». Выступал с ультрапатриотических позиций, заявляя, в частности:
Кроме того, Кребс выступал непримиримым противником музыки Ференца Листа и Макса Регера (называя последнего, в частности, композитором «без вдохновения, без осмысленного плана, без целей и определённых задач»).
Кребс выступил публикатором переписки Брамса, написал книги «Женщины в музыке» (нем. «Die Frauen in der Musik»; 1895) и «Диттерсдорфиана» (1900) о композиторе Карле Диттерсдорфе, обзорный труд «Гайдн, Моцарт, Бетховен» (1906, переиздания 1913, 1920), популярную книгу по истории дирижирования «Мастера дирижёрской палочки» (нем. Meister des Taktstocks; 1919). В 1895—1923 гг. преподавал историю музыки в Берлинской Высшей школе музыки.
