В 1796 году получил звание генерал-майора, но, не любя военную службу, перешёл на дипломатическое поприще. В 1797 году назначен послом в Берлин, с поручением действовать в интересах сближения с Францией. Заклятый враг всяких республик, Панин считал такую задачу «постыдным делом» и, вопреки своим инструкциям, тайком налаживал коалицию против революционной Франции. В конце 1799 года Панин получил чин вице-канцлера.
В ноябре 1800 года Павел I, называвший Панина «римлянином», уволил его от службы и сослал в Московскую губернию за то, что он уклонялся подписать ноту, в которой факты изложены были неверно. Был одним из организаторов заговора, приведшего к убийству императора Павла.
По вступлении на престол Александра I, Панин немедленно вызван был из ссылки и занял прежний пост вице-канцлера, но через семь месяцев оставил службу. С тех пор был не у дел.
