Карл Леопольд был вторым сыном Фридриха Мекленбургского (1638—1688) и Кристины Вильгельмины Гессен-Гомбургской (1653—1722) и приходился племянником бездетному герцогу Кристиану Людвигу I Мекленбургскому (1623—1692). Старший брат Карла Леопольда Фридрих Вильгельм I Мекленбургский (1675—1713) наследовал своему дяде 21 июня 1692 года. Фридриху Вильгельму удалось прекратить распри мекленбургского герцогского дома Гамбургским договором 1701 года. Были образованы два княжества — Мекленбург-Стрелиц и Мекленбург-Шверин, просуществовавшие до 1918 года, и введено правило наследования первенцем. Карл Леопольд получил апанаж в размере 15 000 рейхсталеров и доходы от Доберана. Карл Леопольд совершил несколько поездок во Францию, Англию и Нидерланды, а также по германским княжествам и затем долгое время жил в Гамбурге.
Карл Леопольд принимал участие в военных походах шведского короля Карла XII. Мекленбуржец не только восхищался шведским абсолютным монархом, но и подражал ему в одежде, жестикуляции и манере речи. Вскоре он прослыл чудаком, а принц Евгений Савойский называл его «обезьяной Карла XII». Летом 1713 года Карл Леопольд унаследовал герцогство Мекленбург-Шверин после смерти своего брата Фридриха Вильгельма.
Карл Леопольд был женат трижды. Его первой супругой стала София Хедвига Нассау-Дицская (1690—1734), дочь Генриха Казимира II Нассау-Дицского (1657—1696). Брак был расторгнут в 1710 году. Затем Карл Леопольд сочетался морганатическим браком с Кристиной Доротеей фон Лепель. Брак оказался несчастливым, и Кристина вскоре уехала в Любек к своей матери.
В 1716 году Карл Леопольд женился в Данциге в третий раз на Екатерине Иоанновне, сводной племяннице русского царя Петра I. Брачный договор дополнял союзнический договор, который позволял России размещать войска на севере Германии. Карлу Леопольду русские войска были нужны, чтобы поставить точку в его конфликте с рыцарями. Русские войска появились впервые в истории на немецкой земле в количестве 40 тысяч человек зимой 1716—1717 годов. В этом браке родилась дочь Елизавета Катерина Кристина, будущая Анна Леопольдовна. Брак между Карлом Леопольдом и Екатериной Иоанновной тоже не стал счастливым. Герцог обращался с Екатериной грубо и даже жестоко. В 1716 году Леопольд навлёк на себя нерасположение Петра I, и, потеряв престол, умер в крепости Дёмиц в 1747 году. В 1722 году Екатерина Иоанновна оставила супруга и вместе с маленькой дочерью вернулась в Россию.
