Родился в 1808 г. Происходил из дворян Харьковской губернии, его братья — Евграф (был министром народного просвещения) и Егор (известный дипломат и путешественник). Образование получил в Санкт-Петербургском артиллерийском училище, и в офицерских классах (впоследствии Михайловская артиллерийская академия); по окончании этого курса переведён был в гвардейскую артиллерию.
В русско-турецкую войну 1828—1829 г. он сделал три кампании с ракетной ротой и участвовал во взятии крепости Варны, при устройстве полковником Шильдером моста через Дунай, в сражении под крепостью Силистрией и в переходе через Балканы. С 1833 по 1837 г. он был помощником генерал-адъютанта Шильдера при опытах над действием конгреговых ракет против укреплений и земляных насыпей, и затем при опытах над регулированными и шрапнелевыми гранатами, производившихся под руководством генерал-адъютанта Сумарокова. Производя в то же время самостоятельно и на собственные средства опыты над артиллерийскими снарядами, Ковалевский изобрел особую гранатную трубку. Заинтересовавшись историей и современным торгово-экономическим состоянием Средней Азии, Ковалевский составил две записки — об образовании на границе Сибири особого края для развития торговли России со Средней Азией; записки эти были поданы тогдашнему генерал-губернатору Сибири князю Горчакову и не остались без влияния на последующие мероприятия в этом крае.
С 1843 г., когда Ковалевский был назначен командиром 20-й артиллерийской бригады, он постоянно участвовал в военных действиях на Кавказе и с 1846 г. был начальником правого фланга Кавказской линии; в 1847 г. был назначен командиром 2-й бригады 19-й пехотной дивизии и 26 ноября того же года награждён орденом св. Георгия 4-й степени (№ 7730 по списку Григоровича—Степанова).
В Восточную войну 1853—1855 гг. командовал 13-й пехотной дивизией; удачно защищал Ахалцых; блестяще действовал в составе корпуса князя Андроникова, когда тот 14 ноября 1854 г. разбил турок под Суфлисом, и был произведён в генерал-лейтенанты; осаждал Ардаган и командовал частью главных сил Кавказской армии при штурме Карса 17 сентября 1855 г., при этом атакуя Шорахские укрепления он получил рану, от которой и умер 21 сентября.
