По окончании московского Лазаревского института восточных языков, Зиновьев в 1851 поступил на службу в Московский главный архив министерства иностранных дел, откуда вскоре перешел в департамент внутренних отношений того же министерства. На службе Зиновьев продолжал занятия восточными языками и в 1855 получил степень магистра в Санкт-Петербургском университете. Занимал разные дипломатические должности на Востоке; в 1871 был назначен дипломатическим агентом при румынском князе и членом европейской дунайской комиссии.
В 1876 аккредитован в качестве чрезвычайного посланника при шахе персидском. Во время Закаспийской экспедиции Зиновьев руководил генералом Скобелевым во всех вопросах политического свойства и содействовал заготовке в пределах Персии продовольственных запасов. В 1881 Зиновьев успешно закончил переговоры с персидским правительством по проведению между Персией и Закаспийской областью такой границы, которая дала России возможность завершить дело усмирения туркменских степей. В 1883 Зиновьев занял пост директора азиатского департамента министерства иностранных дел и в 1887 вёл переговоры с английским комиссаром по определению северо-западной границы Афганистана. В 1891 Зиновьев был назначен посланником при короле шведском и норвежском. С 1897 по 1909 был послом России в Турции. С 1909 некоторое время член Государственного совета.
