Родился в многодетной семье предпринимателя-кондитера в Троппау. Отец архитектора владел кирпичным заводом, и Йозеф познакомился со строительными технологиями ещё в детстве. В 1882, не закончив средней школы, ушёл работать чертёжником, в 1886—1890 завершил среднее образование в Вене, затем обучался в Академии изобразительных искусств в Вене у Карла фон Хазенауэра. C 1893 г. — помощник Отто Вагнера на проектировании Венской городской железной дороги (), фактически исполнявший рабочие чертежи станций.
В 1896 г. в среде венских художников произошёл раскол. Возглавляемая Густавом Климтом группа художников и архитекторов, недовольная действиями венского Дома Искусств, откололась и учредила собственную организацию — Венский сецессион. В 1897 г. Ольбрих выстроил на Карлсплац памятник модерна — выставочный зал Сецессиона с куполом-шаром из золотых ветвей.
-
Станция Карлсплатц
-
Выставочный зал Венского сецессиона
-
Свадебная башня в Дармштадте
В 1900 г., по инициативе герцога Дармштадтского Эрнста-Людвига, покровителя искусств и организатора колонии художников на горе Матильды в Дармштадте, Ольбрих переехал в Германию. Получив гессенское гражданство и профессорский титул, он фактически возглавил колонию, выполнив большую часть проектов и лично возглавив строительство, а в 1903 женился на немке Клер Мораве. В самой колонии и в окрестностях Дармштадта им построены всего два десятка зданий; часть из них погибла во время второй мировой войны.
В 1908 г. Ольбрих выстроил исторический универмаг Тице в Дюссельдорфе и третью очередь посёлка художников в Дармштадтской колонии; в том же году, в возрасте 40 лет, он умер от лейкемии.
