Учился в Лейпцигской консерватории у Фердинанда Давида, затем в Берлине у Йозефа Иоахима. В 1874—1881 гг. играл в оркестре Берлинской оперы, в 1881—1893 гг. первая скрипка Кёльнской оперы и Гюрцених-оркестра. Выступал также как ансамблист, особенно в составе фортепианного трио с Ксавером Шарвенкой и Генрихом Грюнфельдом.
Автор двух концертов и ряда других произведений для скрипки с оркестром, камерной музыки для своего инструмента, дидактических сочинений.
С 1895 г. и до конца жизни возглавлял берлинскую Консерваторию Штерна. Среди многочисленных учеников Холлендера — Фриц Кассирер. В 1936 г. в результате нацистской реорганизации консерватории еврейская часть преподавателей и студентов была отделена в Еврейскую музыкальную школу Холлендеров (нем. J?dische Private Musikschule Hollaender) во главе с детьми Холлендера Куртом Холлендером (1885—1941) и Сусанной Ландсберг (1892—1943); в 1941—1943 гг. руководители школы и большинство её педагогов и учащихся были уничтожены в концентрационных лагерях.
