Родился 20 февраля 1792 г. После получения домашнего образования вступил в гражданскую службу.
С началом вторжения Наполеона в Россию Хвощинский был переименован из губернских секретарей в подпоручики и в рядах Петербургского ополчения с отличием участвовал в Отечественной войне 1812 года. За отличие в сражениях под Полоцком и при Чашниках был награждён орденом св. Анны 4-й степени, за сражение под Борисовым — орденом св. Владимира 4-й степени. Вслед за тем Хвощинский был произведён в поручики и 12 марта 1813 года переведён в Могилевский пехотный полк, в рядах которого принял участие в Заграничных кампаниях 1813 и 1814 годов; и был награждён орденом св. Анны 2-й степени. По окончании военных действий и возвращении в Россию Хвощинский 30 декабря 1814 года был переведён тем же чином в лейб-гвардии Преображенский полк; в рядах последнего полка он получил чины штабс-капитана (15 июля 1819 года) и капитана (31 декабря 1820 года).
22 апреля 1823 г., по производстве в чин полковника, Хвощинский был переведён в лейб-гвардии Московский полк. Он состоял членом Союза благоденствия, но во время восстания к декабристам не присоединился, напротив, оказывал активное противодействие восставшим и был ранен Д. А. Щепиным-Ростовским. На следующий день после восстания Хвощинский был пожалован флигель-адъютантом к императору Николаю I.
Выступив со Сводным гвардейским полком в Персидский поход 1826—1827 гг., где он занимал должность командира 1-го батальона, Хвощинский находился во многих делах против неприятеля, и в том числе 1 июля 1827 г. — при взятии войсками Паскевича крепости Аббас-Абада, 5 числа того же месяца — в сражении при Джаван-Булахе, 19 сентября — при взятии крепости Сардар-Абада и 1 октября — при завоевании Эривани. За отличие в этой кампании Хвощинский был 2 декабря 1827 г. удостоен Высочайшего благоволения и 7 марта 1828 года награждён алмазными знаками к ордену св. Анны 2-й степени.
Награждённый в 1828 г. за персидскую кампанию орденом св. Владимира 3-й степени, Хвощинский в апреле 1828 г. был назначен председателем комиссии по разбору и приведению на русский вес приобретенного от персиян золота и серебра, а 28 августа 1831 г., с производством в генерал-майоры, определён к исследованию беспорядков по военным поселениям, после чего вскоре получил начальство над формировавшимися батальонами 2-й гренадерской дивизии.
В 1834 г. Хвощинский был назначен директором Полоцкого кадетского корпуса и в этой должности оставался до 1842 г., когда был отчислен в управление военно-учебных заведений. Впоследствии был произведён в генерал-лейтенанты. Среди прочих наград имел орден св. Георгия 4-й степени, пожалованный ему 11 декабря 1840 года за беспорочную выслугу 25 лет в офицерских чинах (№ 6179 по списку Григоровича—Степанова).
Умер 5 января 1852 г. в Санкт-Петербурге, похоронен на Тихвинском кладбище Александро-Невской лавры.
