Сын генерала от инфантерии А. Я. Рудзевича, родился в 1811 году.
6 ноября 1825 года поступил на военную службу в армейскую кавалерию, в офицеры произведён был 25 марта 1828 года и сразу принял участие в русско-турецкой войне; за ряд боевых отличий награждён был орденом св. Анны 3-й степени с бантом.
В 1831 году находился в Польше и сражался с мятежниками; за дело под Варшавой и за другие сражения этой войны получил орден св. Владимира 4-й степени с бантом и золотую шпагу с надписью «За храбрость» (5 мая 1832 года).
В полковники произведён в 1845 году. 26 ноября 1850 года, за беспорочную выслугу 25 лет в офицерских чинах получил орден св. Георгия 4-й степени (№ 8417 по кавалерскому списку Григоровича—Степанова).
В 1853—1855 годах участвовал в Крымской кампании и за отличие против англо-французов был награждён орденами св. Станислава 1-й степени с мечами и св. Анны 1-й степени с мечами; 27 марта 1855 года был произведён в генерал-майоры.
В 1857 году был назначен на Кавказ наказным атаманом Кавказского линейного казачьего войска и до 1860 года участвовал в кампаниях против горцев, а именно в покорении Чечни и Дагестана, и 18 февраля 1860 года произведён был в генерал-лейтенанты.
С 11 июля 1861 года был зачислен по Кубанскому казачьему войску и назначен Костромским губернатором. 9 декабря 1866 года был зачислен по армейской кавалерии, с состоянием по Министерству внутренних дел, при котором числился до января 1885 года, после чего был зачислен в запас, получив в 1878 году орден Белого Орла.
Скончался в июне 1889 года; погребён в Симферополе. Его сын Николай был действительным статским советником.
