Учился музыке у своего отца. Уже в 14-летнем возрасте поступил скрипачом в Штутгартскую придворную капеллу. В 1871—1882 гг. работал дирижёром в Риге, в 1882—1884 гг. в Лейпциге, в 1884—1893 гг. в Берлине, в 1893—1898 в Бремене. В 1894 г. в Штутгарте и в 1895 г. в Бремене помогал Антону Рубинштейну в премьерных исполнениях его оперы «Христос». Среди учеников Рутхардта, в частности, Эйвинн Альнэс). В 1876 г. опубликовал в газете «Rigasche Zeitung» серию статей «Письма из Байройта», представляющую собой один из интересных источников информации о первом Байройтском фестивале. В 1900 г., в связи с подступающей слепотой, вышел в отставку и провёл последние годы жизни в Констанце.
Автор музыки к пьесе Б. Бьёрнсона «Хульда-Хромоножка», хоровой и вокальной музыки.
