Сначала самоучкой занимался рисованием в родительском доме. В 1851 году поступил в ученики академии художеств, где его главным наставником был профессор Б. П. Виллевальде. В 1860 году получил малую золотую медаль за картину «Цыганский табор», а в 1862 был удостоен большой золотой медали за картину «Взятие Гуниба», после чего был отправлен за границу в качестве пенсионера академии. В Париже написал картину «Пикет зуавов на маневрах во Франции», которая была приобретена академией, и «Рынок в Фонтенебло», обратившую на себя внимание публики на академической выставке 1872 года. В 1864 год приезжал из Парижа в Россию для путешествия на Кавказ с целью рисования этюдов с натуры, изучения местных типов и вообще сбора материалов для задуманной картины «Оставление горцами аулов при приближении русских войск», предназначенной для Всемирной парижской выставки. За эту картину в 1872 году по окончательном возвращении своём в Санкт-Петербург Грузинский получил звание академика.
Позднейшие его работы до 1890 годя: «Сцена из деревенского быта», «Сенокос в Малороссии», «Загородная прогулка», «Масленица», «Тройка», «Встреча возвращающихся из церкви новобрачных», «Переселение горцев на Кавказе» и др.
