Родился 17 апреля 1779 года, сын действительного статского советника Александра Андреевича Волкова и Екатерины Даниловны урождённой Конищевой. Образование получил в частном пансионе в Санкт-Петербурге и был записан в лейб-гвардии Семёновский полк сержантом, явился в строй в 1796 году и был произведён в первый офицерский чин, впоследствии в полку командовал ротой.
При восшествии на престол император Александр I пожаловал Волкову орден св. Анны 4-й степени.
В кампании 1805 года против французов в Австрии Волков, в чине штабс-капитана, принял участие в Аустерлицком сражении, в нём получил картечную рану в ногу и был захвачен в плен, из которого спустя пять недель был обменян. 19 июня 1806 года он был награждён золотой шпагой с надписью «За храбрость».
Рана не давала возможности продолжать Волкову службу в строю и он в 1806 году, по ходатайству министра внутренних дел князя В. П. Кочубея, был произведён в полковники и назначен полицмейстером в Москву.
В начале 1816 года расстроенное здоровье вынудило Волкова попросить увольнения от должности и он был отправлен в отставку с производством в генерал-майоры. Однако в том же году император Александр I назначил Волкова Московским комендантом. Через три месяца Волков был награждён орденом св. Анны 1-й степени. На этой должности Волков прославился своей благотворительной деятельностью. По словам его биографа Волков пожертвовал на Московское Военно-сиротское отделение до 70 тысяч рублей.
В 1821 году Волков снова вышел в отставку и совершил путешествие по Европе. В 1826 году, после учреждения Отдельного Жандармского корпуса, Волкову был предоставлен в управление 2-й (Московский) округ этого корпуса. На этой должности Волков был награждён орденом св. Владимира 2-й степени и 6 декабря 1828 года произведён в генерал-лейтенанты.
25 декабря 1828 года Волкову, за беспорочную выслугу 25 лет в офицерских чинах, был пожалован орден св. Георгия 4-й степени (№ 4192 по кавалерскому списку Григоровича—Степанова).
В 1829 году Волков тяжело заболел и окончательно вышел в отставку. Скончался он в Москве 16 июня 1833 года, похоронен на кладбище Симонова монастыря.
А. А. Волков был женат на Софье Александровне (1787—1868), дочери камергера Александра Яковлевича Римского-Корсакова, у них было четыре сына и пять дочерей. Один из сыновей, Павел, был генерал-майором.
Его сёстры, Мария (замужем за членом Государственного совета Российской империи П. И. Озеровым) и Прасковья (замужем за генерал-майором Т. И. Миллером), были фрейлинами. Племянники Александра Александровича Волкова и сыновья его сестры Марии Александровны: Иван (1806—1880, посланник в Бадене, Португалии и Баварии), Сергей (1809—1884, директор Пажеского корпуса, генерал от инфантерии), Александр (обер-шталмейстер, посланник в Греции и Швейцарии).
