Сначала Олсен вместе со своей командой победил на неофициальных Олимпийских играх 1906 в Афинах, однако полученные на соревнованиях награды не признаются Международным олимпийским комитетом, так как Игры прошли без его согласия.
На Играх 1908 в Лондоне Олсен участвовал в командном первенстве, в котором его сборная заняла второе место. Он также соревновался в индивидуальном соревновании, но его точное место и результат неизвестны.
Через четыре года он выступал за норвежскую сборную на Олимпиаде 1912 в Стокгольме. В соревновании по шведской системе его команда заняла третье место.
