Тейлор впервые участвовал во внеочередных Олимпийских играх 1906 в Афинах. Он стал чемпионом в заплыве на 1 милю, занял второе место на дистанции 400 м и стал третьим в эстафете 4?250 м. Однако соревнования проходили без согласия Международного олимпийского комитета, и поэтому награды не считаются официальными.
Через два года Тейлор соревновался на летних Олимпийских играх 1908 в Лондоне. Он стал трижды чемпионом — в заплывах вольным стилем на 400 м, 1500 м и эстафете 4?200 м.
На следующих двух Олимпиадах 1912 и 1920 Тейлор вновь участвовал в этих трёх дисциплинах, но смог получить только две бронзовые медали в эстафетах. В остальных заплывах он останавливался или на полуфинале, или на отборочных заплывах.
