Родился в семье пастора, где был младшим из четырёх детей. Начал играть на пианино в возрасте 6 лет, и уже через 4 года научился у своего отца игре на органе. В возрасте 14 лет он уже исполнял на органе музыкальные произведения в Гарлемском театре имени Линкольна, а ещё через год — сочинил свой первый рэгтайм. Первая сольная запись игры Уоллера на пианино была сделана в октябре 1922 года, когда ему было 18 лет.
Большинство произведений, принесших ему славу, написал в жанре страйд. Был лучшим учеником, затем другом пианиста Джеймса Джонсона. Пианист и композитор Оскар Левант называл Уоллера «чёрный Горовиц».
