Родился 20 сентября 1772 г. и по окончании Артиллерийского и Инженерного шляхетного корпуса и 12 октября 1788 года произведён в штык-юнкеры и оставлен при корпусе в качестве воспитателя. В 1798 г. Клингенберг был переведён в Пажеский Его Императорского Величества корпус помощником гофмейстера и в этой должности, а затем в должности гофмейстера прослужил 23 с половиной года. За это время он получил чины капитана (в 1803 г.), майора (в 1809 г.), подполковника (в 1811 г.), полковника (в 1816 г.)
26 ноября 1816 года был награждён орденом св. Георгия 4-й степени (№ 3070 по кавалерскому списку Григоровича—Степанова).
В 1822 году Клингенберг был назначен комендантом Нарвы, 1 января 1826 года произведён в генерал-майоры. 11 февраля 1828 г. занял должность директора Павловского кадетского корпуса, в 1829 году, с оставлением в прежней должности, был назначен директором и Александровского кадетского корпуса, тогда же получил орден св. Анны 1-й степени (императорская корона к этому ордену пожалована в 1832 году).
Произведённый 6 декабря 1833 года в генерал-лейтенанты, в 1834 году он был уволен от последней должности по невозможности совмещать два столь важных поста. 20 апреля 1835 году назначен исправлять должность главного директора кадетских корпусов и присутствовать в совете военно-учебных заведений с оставлением директором Павловского кадетского корпуса, также награждён орденом св. Владимира 2-й степени.
Клингенберг пользовался большим расположением Аракчеева, и у потомков Клингенберга сохраняется весьма любопытная переписка Клингенберга и его жены с графом Аракчеевым, Настасьей Минкиной и Михаилом Шуйским.
12 октября 1838 году, во внимание к всеподданнейшей просьбе многочисленных воспитанников Клингенберга (1606 офицеров), император Николай I разрешил праздновать 50-летний юбилей его службы. В этот день Клингенберг получил орден Белого Орла, и государь повелел обратить в пожизненную пенсию всё получаемое им содержание (11 833 р. ассигнациями в год). В день юбилея в одной из зал 2-го кадетского корпуса была помещена мраморная доска с надписью «1788 г. Карл Клингенберг».
В 1843 году Клингенберг был произведён в генералы от инфантерии.
Историк Пажеского корпуса Д. М. Левшин считает Клингенберга одним из первых серьёзных пионеров военно-педагогического дела в России. Он был немец, но душой сделался русским, полюбил русское юношество и отдал воспитанию его всего себя нераздельно. В 1848 г. Клингенберг праздновал 60-летний юбилей. В этот день он был удостоен Высочайшим пожалованием бриллиантового перстня с портретом императора Николая I.
Умер 19 ноября 1849 г. в Санкт-Петербурге, похоронен на Смоленском евангелическом кладбище.
Жена Карла Фёдоровича, Елизавета Николаевна Клингенберг, была начальницей Санкт-Петербургского Елизаветинского женского института, их сын Михаил Карлович, был тайным советником. Директор Полтавского кадетского корпуса генерал-майор Михаил Михайлович Клингенберг (1861—1939) приходился Карлу Фёдоровичу внуком.
