Бейкер занимался многими видами спорта — он выигрывал несколько соревнований в плавании, играл в водное поло за один из клубов Сиднея, занимался регби. Но основным его амплуа был бокс. Он выиграл несколько чемпионатов родного штата Новый Южный Уэльс.
В 1908 году Бейкер принял участие в летних Олимпийских играх 1908 в Лондоне. В боксе он соревновался в весовой категории до 71,7 кг и занял второе место, выиграв серебряную медаль. Также он участвовал в двух водных видах спорта — в эстафете 4х200 м вольным стилем, в которой его команда заняла четвёртое место, и в прыжке в воду с 3-метрового трамплина, в котором он вышел уже из четвертьфинала.
В 1918 году Бейкер занялся кино, и в 1920 году переехал в Лос-Анджелес, США. Он снялся в 13 фильмах и был продюсером трёх картин. Он также выполнял лошадиные трюки в одном фильме и обучал Элизабет Тейлор езде на лошадях.
