До Первой мировой войны Кох работал банковским клерком. Во время войны он был захвачен в плен британскими войсками и содержался в плену до 1919 года.
В 1930 году Кох вступил в НСДАП, а вскоре и в СС. В 1934 году он был назначен комендантом концлагеря в Лихтенбурге. Два года спустя Коха перевели в Заксенхаухзен. Вскоре он женился на Ильзе Кёлер, с которой он был знаком уже два года и которая тоже работала в Заксенхаузене. В 1937 году Коха назначили комендантом только что созданного лагеря Бухенвальд. Ильзе переехала вместе с мужем и позже стала одним из надзирателей.
Карлу и особенно Ильзе Кох, которую часто называют «Ведьмой Бухенвальда» (нем. Die Hexe von Buchenwald) приписываются жестокие убийства и пытки заключённых. Существует легенда о том, что дома у Кохов хранились абажуры, изготовленные из человеческой кожи, однако на послевоенном процессе над Ильзе Кох достоверных доказательств этого предъявлено не было.
В сентябре 1941 года Кох стал комендантом Майданека. Меньше чем через год (в июле 1942) он был отстранён от должности из-за подозрений в коррупции и присвоениях казённого имущества. В следующем году в рамках расследования случаев коррупции в СС Коху были предъявлены обвинения в убийстве врача Вальтера Кремера (Walter Kr?mer) и его помощника, которые могли проговориться, что лечили Коха от сифилиса. Дело вёл судья Конрад Морген, расследовавший и другие преступления, совершённые должностными лицами в концлагерях. Ильзе Кох обвинялась в присвоении крупной суммы, но была оправдана, а Карл Кох был признан виновным в убийстве и расстрелян 5 апреля 1945 года.
После войны Ильзе Кох была приговорена американским военным трибуналом к пожизненному заключению. В 1967 году она повесилась в тюрьме.
