В 1932 окончил Московскую консерваторию по классу композиции М. В. Иванова-Борецкого. Ещё будучи студентом, в 1930, начал преподавать в ней историю русской музыки. В 1926—1932 был членом РАПМ, после её распада вошёл в состав Союза композиторов СССР. В 1947 защитил докторскую диссертацию на тему «Художественное мировоззрение В. В. Стасова», год спустя получил звание профессора консерватории, в 1946—1949 возглавлял кафедру истории русской музыки, а также работал в Институте истории искусств Академии наук СССР, входил в состав редколлегии первого издания БСЭ. С 1950 работал в Ленинграде, где был профессором консерватории, позднее — директором Института истории искусств. Начиная с 1957 вновь работал в Москве.
Область научных интересов Келдыша охватывала прежде всего историю и развитие отечественного музыкального искусства. Среди композиторов, чьё творчество он исследовал — М. П. Мусоргский, П. И. Чайковский, С. В. Рахманинов, а также менее известные авторы. Одним из первых в СССР Келдыш начал исследовать русскую церковную музыку, подготовил к изданию масштабную серию публикаций «Памятники русского музыкального искусства» о светских и духовных сочинениях XVI—XVIII веков. Под его редакцией вышел в печать десятитомный труд «История русской музыки» и крупнейшее советское музыкальное издание — «Музыкальная энциклопедия» в шести томах.
Отец Ларисы Георгиевны Пригожиной (Келдыш), — историка русского театра, профессора Петербургской Академии театрального искусства, вдовы композитора Люциана Пригожина.
