Шефф участвовал на внеочередных Олимпийских играх 1906 в Афинах, на который стал чемпионом в плавании на 400 м вольным стилем и бронзовым призёром в заплыве на 1 милю. Однако соревнования прошли без согласия Международного олимпийского комитета, поэтому награды не считаются официальными.
На Играх 1908 в Лондоне Шефф занял третье место в заплыве на 400 м вольным стилем. Также, он не смог финишировать в финале на 1500 м и остановился на полуфинале на дистанции 100 м. На Олимпиаде 1912 Шефф входил в состав австрийской ватерпольной сборной, которая стала четвёртой.
С 19 декабря 1945 года по 18 марта 1953 года Шефф входил в Национальрат от Австрийской народной партии. Также, он некоторое время был вице-президентом Австрийского олимпийского комитета.
