В 1849 году он вступил в прусскую армию; прошёл все степени армейской карьеры. Принимал участие в Австро-прусской войне (1866) в чине майора генерального штаба при главнокомандующем Первого корпуса. Во время Франко-прусской войны (1870—1871) — в чине подполковника на должности главы штаба Пятого корпуса. В 1877 году получил чин генерала, в 1882 был назначен командующим 30-й дивизии в Меце. С 1883 по 1888 год он возглавлял имперское Адмиралтейство и показал на этой должности незаурядный администраторский талант.
На короткое время он был назначен командующим Десятого корпуса, после чего в феврале 1890 года был вызван кайзером Вильгельмом II в Берлин. Он был проинформирован, что кайзер хочет видеть его на должности рейхсканцлера вместо Отто фон Бисмарка, если тот не согласится на предложенные кайзером изменения в правительстве. После отставки Бисмарка 18 марта 1890 года, Каприви был назначен канцлером Германской империи и министром-президентом (премьер-министром) Пруссии.
Правительство Каприви проводило политику, известную среди историков как «новый курс», которая во внутренних делах характеризовалась взаимопониманием с социал-демократами (правительство Каприви не стало продолжать антисоциалистический закон 1878 года), а на внешнем фронте — разрывом союзных отношений с Россией и сближением с Великобританией, лучшим примером которого стал подписанный в июле 1890 года Занзибарский договор. Согласно настоящего договора Германия получила остров Гельголанд в Северном море в обмен на свободу действий относительно султаната Занзибар. Ему также удалось приобрести в Африке для Германии так называемую Полосу Каприви, которая соединила колонию Германская Юго-Западная Африка с рекой Замбези.
Каприви также способствовал заключению торговых соглашений с Австро-Венгрией, Италией, Бельгией, Швейцарией, Румынией и Россией, за что 18 декабря 1891 года ему был дарован титул графа.
Занзибарский договор повлек возмущение против Каприви среди влиятельных проколониальних политических групп, тогда как его политика свободной торговли встретила сопротивление среди консервативных аграриев — сторонников протекционизма.
В 1892 году после неудачи своего проекта закона об образовании в прусском парламенте, Каприви подал в отставку с должности прусского министра-президента, и его сменил граф Ботто фон Эйленбург. Это повлекло неудобное деление власти между канцлером и прусским премьером; двоевластие завершилось отставкой обоих 28 октября 1894 года и заменой их на князя Хлодвига фон Гогенлоэ-Шиллингсфюрста.
