Карл Альтенштейн родился в городе Ансбахе 7 октября 1770 года; обучался в Эрлангене и Геттингене, начал службу в прусской палате военных дел и государственных имуществ в Ансбахе и вскоре произведен в советники.
Вызванный в Берлин министром фон Гарденбергом в 1799 году, он был назначен докладчиком министерства и через несколько лет тайным советником по финансовой части в Генеральной директории.
Катастрофа 1806 года заставила его переселиться в Кенигсберг, где он участвовал в работах по преобразованию прусского государства.
После удаления барона фон Штейна он стал в 1808 году во главе управления финансов и оказал большие услуги делу преобразования высших государственных и провинциальных органов, содействовал первым шагам к перемене отношений между помещиками и крестьянами и имел большое влияние на основание берлинского университета. Однако ввиду наложенных французами на государство контрибуций он очутился в таком безвыходном положении, что в представленном королю докладе предложил как единственное средство спасения уступку Силезии. Между тем Гарденберг, к которому король обратился за советом, объявил себя против такого отчаянного средства, после чего в июне 1810 года министерство было распущено и главное управление государственными делами вверено Гарденбергу в качестве государственного канцлера.
В июне 1813 года Карл Альтенштейн был назначен гражданским губернатором Силезии. В 1815 году вместе с Вильгельмом Гумбольдтом в Париже он вытребовал увезенные французами из Пруссии сокровища искусства. К концу 1817 года он стал во главе вновь учрежденного министерства народного просвещения и духовных дел; на этом поприще он начал свою деятельность с того, что основал новый университет в Бонне и оказал большие услуги делу гимназий и народных школ.
Изданный им в 1819 году, дополненный и измененный в 1831 и 1837 гг. закон о народном образовании поставил принцип всеобщей обязательной школы. Управление церковными и школьными делами включено в состав введенной тогда новой организации общего государственного управления, именно управления делами лютеранской церкви и начального образования вверено устроенным на коллегиальном основании церковным и школьным отделам окружных управлений, надзор же за ними и за другими религиозными общинами, а также управление высшими учебными заведениями — провинциальным консисториям; впоследствии школьные отделения этих последних преобразованы в отдельные учреждения под названием провинциальных школьных коллегий. Главный надзор над всем школьным делом вверен министерству образования.
По отношению к высшим учебным заведениям Альтенштейн был поборником философского образования, почему и пригласил в Берлинский университет Георга Вильгельма Фридриха Гегеля. Религиозным делам он тоже оказал при весьма трудных обстоятельствах несомненные услуги, хотя ему и не удалось устранить решительно все более в последние годы его жизни обострявшийся раздор с католическою церковью.
В декабре 1838 года он вышел в отставку и скончался 14 мая 1840 года в городе Берлине.
Согласно «ЭСБЕ»: Карл был человек многосторонних знаний, неутомимой деятельности и редкой скромности.
