Окончил медицинский факультет Воронежского государственного университета по специальности врач-невропатолог, Институт красной профессуры в Москве. С 1932 по 1937 годы К. В. Киселев — научный сотрудник Всесоюзного института экспериментальной медицины. В 1936 году стал кандидатом медицинских наук.
С 1937 по 1938 годы — народный комиссар здравоохранения БССР, с 1938 по 1940 годы — председатель Совета народных комиссаров БССР. В 1941—1942 годах работал директором медицинского издательства в г. Москве, председателем Ульяновского областного исполнительного комитета, с 1943 по 1944 годы был первым заместителем председателя Совета народных комиссаров Белорусской ССР.
С 1944 по 1958 годы — первый заместитель председателя СНК и нарком (с 1946 министр) иностранных дел БССР. С 1958 по 1966 годы — Министр иностранных дел Белорусской ССР. Имел ранг Чрезвычайного и Полномочного Посла. Был депутатом Верховного Совета СССР, Верховного Совета БССР и членом ЦК КПБ.
Награждён двумя орденами Ленина, двумя орденами Трудового Красного Знамени, орденом «Знак Почёта» и медалями.
Автор воспоминаний «Записки советского дипломата» (1974).
