Начинал учиться музыке у Оскара Адлера, несколькими десятилетиями раньше бывшего близким другом и наставником Арнольда Шёнберга. После аншлюсса бежал в Великобританию, начал музыкальную карьеру как скрипач и альтист, но вскоре перешёл к музыкальной критике. Келлер был большим пропагандистом музыки Шёнберга и Бриттена (посвятившего ему третий струнный квартет). Он составил (вместе с Доналдом Митчелом) книгу статей о Бриттене, выпустил две книги о Стравинском — «Стравинский на репетиции» (англ. Stravinsky at Rehearsal; 1962) и «Стравинский увиденный и услышанный» (англ. Stravinsky Seen and Heard; 1982) — с иллюстрациями своей жены Милен Косман.
Основным вкладом Келлера в музыковедение считается его метод бессловесного функционального анализа (англ. Wordless Functional Analysis) — объяснение закономерностей определённого музыкального произведения посредством музыкального же произведения. Суть этого метода состоит в том, что, согласно Келлеру, основной вопрос анализа произведения — вопрос о том, каким образом составляющие его контрастные музыкальные темы составляют органическое единство. Универсальный ответ заключается, по мнению Келлера, в том, что на глубинном уровне эти контрастные темы имеют общую основу, и возможно создать такой музыкальный текст, который эту общность выявит и продемонстрирует. Келлеру принадлежит ряд таких произведений-анализов, посвящённых сочинениям Баха, Моцарта, Гайдна, Бетховена и Бриттена; некоторые из них даже были исполнены и транслировались радиостанцией BBC, на которой Келлер в разное время занимал различные значительные посты.
