Учился первоначально у Фердинанда Бёме, затем в Лейпцигской консерватории у Карла Райнеке и Эрнста Фридриха Эдуарда Рихтера, в берлинской Новой Академии музыки у Теодора Куллака и Рихарда Вюрста и в Брюссельской консерватории у Франсуа Огюста Геварта и Луи Брассена.
Был участником (1887—1902) известного Франкфуртского трио (первые десять лет — вместе с Гуго Беккером).
Автор фортепианного концерта, фортепианного трио и других сочинений для своего инструмента.
В 1874—1883 гг. преподавал фортепиано в Кёльнской консерватории, женился на дочери её руководителя Фердинанда Хиллера (в дальнейшем этот брак распался). В 1883—1903 гг. профессор во франкфуртской консерватории Хоха, где среди его учеников оказалась талантливая пианистка Фриде Ходапп, с которой у профессора возник роман, завершившийся свадьбой; из-за этого Кваст вынужден был оставить консерваторию, ряд учеников (в том числе Отто Клемперер) последовали за ним. В 1903—1906 гг. Кваст преподавал в Консерватории Шарвенки в Берлине, после 1906 г. — в Консерватории Штерна там же. Важнейшие из его учеников — Ганс Пфицнер (позднее женившийся на дочери Кваста), Вальтер Браунфельс, Перси Грейнджер, Ильзе Фромм-Михаэльс.
