Начал учиться музыке у работавшего в Хельсинки немецкого дирижёра Карла Гансцауге, затем у Фредрика Пациуса. В 17 лет дебютировал публично. В 1856—1858 гг. учился в Лейпцигской консерватории у Фердинанда Давида, затем в Ганновере у Йозефа Иоахима. В 1861—1868 гг. работал скрипачом в Хельсинки, однако затем обосновался в Стокгольме и до конца жизни работал по преимуществу в Швеции — особенно после того, как его притязания на должность музикдиректора Гельсингфорсского университета после отставки Пациуса в 1869 г. были встречены отказом.
С 1873 г. преподавал в Королевской Высшей школе музыки, с 1897 г. профессор. Среди многочисленных учеников Линдберга — крупнейшие скандинавские музыканты: Тур Аулин, Хуго Альвен, Хельмер Александерссон и др. В 1903 г. вышел на пенсию.
