Хольст принял участие в летних Олимпийских играх в Лондоне в соревнованиях по стрельбе из малокалиберной винтовки и пистолета. В первом виде он стал серебряным призёров в командных соревнованиях, а в индивидуальных занял 15-е места в стрельбе по исчезающей и подвижной мишеням и 18-е в стрельбе лёжа. В стрельбе из пистолета он стал 27-м среди отдельных спортсменов и 5-м среди команд.
На следующих летних Олимпийских играх 1912 в Стокгольме Хольст соревновался в стрельбе из дуэльного пистолета и из малокалиберной винтовки. В пистолетной стрельбе он стал чемпионом среди команд и бронзовым призёром среди отдельных спортсменов, а, стреляя из винтовки по исчезающей мишени, занял первое место со своей сборной и второе в индивидуальном соревновании. Также Хольст стал девятым в стрельбе из винтовки с любой позиции.
