Закончил Императорский Александровский лицей. Ещё в Лицее у него развилась страсть к восточным языкам, и он стал брать уроки еврейского языка — у Павского, арабского и персидского — у профессоров Университета и Института восточных языков. В 1851 Зернов-Вельяминов отправился на службу в Оренбургскую губернию, где занялся практическим изучением тюркских наречий, до тех пор почти не исследованных. Здесь он написал свои «Исторические известия о киргиз-кайсаках и сношениях России с Средней Азиею», которые сначала были напечатаны в местных оренбургских газетах, потом вышли отдельной книгой (Уфа, 1853—1855).
Дела областного архива, касающиеся местных инородцев, послужили материалом для его «Источников для изучения тарханства, жалованного башкирам русскими государями» («Записки Академии Наук» т. V. Приложение). Вернувшись с Урала, Зернов-Вельяминов поступил на службу в азиатский департамент. В 1863 вышел первый том его «Исследования о касимовских царях и царевичах», основанного на тщательном и всестороннем изучении как русских, так и восточных источников (печаталось в «Труд. Восточное Отделение Императорского Археологического Общества» ч. IX, X, XI, 1863—1866 г., ч. XII, 1887; в немецком переводе Zenker’a, Лейпциг, 1867). Автор попутно разъяснил здесь целый ряд вопросов, связанных с историей Золотой Орды, Касимовского ханства, Крыма, Казани, Астрахани и Средней Азии.
Одновременно с этим трудом появились «Материалы для истории Крымского ханства» (СПб., 1864; французских перевод Лпц., 1864). «Словарь джагатайско-турецкий», изданный Зерновым-Вельяминовым в 1868, представляет, по словам Н. И. Веселовского, «издание образцовое и в области ориентализма едва ли имеющее равное себе». Из других его трудов важнейшие: «История курдов» (на персидском языке) и «Монеты бухарские и хивинские» («Зап. Археол. Общ.», т. XIII). В 1888 он занял пост попечителя учебного округа в Киеве, а в 1889 был назначен председателем комиссии по разбору древних документов в Киевской, Волынской и Подольской губерниях.
