Происходил из дворян Смоленской губернии, родился 23 мая 1810 г.
20 декабря 1823 г. поступил в Михайловское артиллерийское училище юнкером, по окончании основного курса 11 февраля 1827 г. был произведён в прапорщики и зачислен в 20-ю конно-артиллерийскую роту и оставлен при училище для обучения в офицерских классах; за отличие в науках 6 января 1828 г. произведён в подпоручики. По завершении обучения в офицерских классах был произведён в прапорщики лейб-гвардии зачислен в Лейб-гвардии 1-ю артиллерийскую бригаду, с оставлением преподавателем артиллерии при училище. Последовательно получил чины подпоручика (28 января 1833 г.) и поручика (28 января 1834 г.).
20 февраля 1835 г. был командирован на Кавказ и здесь, принял участие в весенней экспедиции за Кубань против горцев в составе отряда генерал-лейтенанта С. С. Малиновского. Затем, находясь в Закубанском отряде генерал-лейтенанта А. А. Вельяминова был при занятии аулов Науч-Хабль и Сада-Хабль. Осенью того же года Баранцов участвовал в движении отряда генерал-майора Н. А. Штейбе для уничтожения аулов Абрек-Хабль, Хусит-Хабль, Баста-Хабль и Харот-Хабль; вернувшись в лагерь в составе колонны полковника А. Г. Пирятинского, Баранцов тут же под началом генерала Малиновского отправился в набег против шапсугов в Азиепское ущелье и находясь под непосредственным командованием полковника Н. И. Горского отличился при разгроме аулов Талух-Хоток и Оз-Хабль. За отличие в походах против Горцев получил 31 мая 1836 г. орден св. Владимира 4-й степени с бантом.
Вернувшись в начале 1836 г. в Санкт-Петербург, Баранцов был 11 января произведён в штабс-капитаны и 6 июля — в капитаны. Выполняя ряд Высочайших поручений по ознакомлению строевых частей с различными вопросами артиллерийского дела, Баранцов в ноябре 1841 г. получил в командование батарею № 1 Лейб-гвардии 1-й артиллерийской бригады, 22 августа 1842 г. произведён в полковники и 22 июня 1847 г. — назначен адъютантом к Е. И. В. генерал-фельцейхмейстеру, с определением в следующем году присутствующим членом артиллерийского отделения Военно-ученого комитета. 3 апреля 1849 г. состоялось производство его в генерал-майоры и за отличное выполнении ряда Высочайших поручений — зачисление 19 сентября в свиту Его Величества, после чего в 1852 г. он был назначен исправляющим должность начальника артиллерии в Свеаборге, а в следующем году — заведующим всей артиллерией в Финляндии. 26 ноября 1851 г. награждён орденом св. Георгия 4-й степени № 8596 за беспорочную выслугу 25 лет в офицерских чинах.
При бомбардировке Свеаборга англо-французским флотом 28 и 29 июля 1855 г. Баранцов лично руководил действиями крепостной артиллерии.
В том же году, 30 августа Баранцов был пожалован званием генерал-адъютанта; с началом 1856 г. назначен начальником штаба генерал-фельцейхмейстера; в 1857 г. произведен в генерал-лейтенанты; в 1862 г., по слиянии указанного штаба с артиллерийским департаментом военного министерства, определен на пост начальника Главного артлллерийского управления и, сохраняя звание товарища генерал-фельцейхмейстера, вступил, по отбытии великого князя Михаила Николаевича в 1863 г. на Кавказ, в самостоятельное управление всеми частями артлллерийского ведомства. 14 января 1863 г. удостоен высочайшей благодарности за сочинение «Краткий обзор по преобразованиям по артиллерии с 1856 по 1863 г.» (СПб., 1863).
Период пребывания Баранцова в сфере указанных полномочий совпал с эпохою коренных преобразований в артиллерии, послуживших к полному перерождению всех её отраслей. События Крымской войны 1853—56 гг. и похода в Турцию 1877—78 гг. указали на желательность многих реформ в артиллерийском деле, что и было достигнуто благодаря редкой энергии и просвещённой деятельности генерала Баранцова, успевшего три раза перевооружить артиллерию (французская система, система прусская и дальнобойныя орудия полевой артиллерии), дать пехоте несколько систем ружей, наряду с этим переделать всю материальную часть артиллерии; также не остались забытыми внутренняя организация последней, технические заведения и все прочие отрасли артиллерийского дела. Выдающаяся деятельность Баранцова доставила ему ряд наград. 20 мая 1868 г. он произведён в генералы от артиллерии, 25 ноября 1870 г. получил орден св. Владимира 1-й степени с мечами и милостивый рескрипт Государя, 30 августа 1875 г. — орден св. Андрея Первозванного, 11 февраля 1877 г., в день 50-летия службы, — назначен шефом 2-й батареи Лейб-гвардии 1-й артиллерийской бригады и получил новый рескрипт и, наконец, в день 25-летия пребывания в должности начальника главного управления, 19 февраля 1881 г. — возведен с нисходящим потомством в графское достоинство. Многосложные занятия, однако, понудили графа искать отдыха; 10 июня того же года он был уволен от занимаемых должностей и назначен членом Государственного совета. В этом звании граф Баранцов и скончался 27 сентября 1882 г. Похоронен в Санкт-Петербурге в Новодевичьем монастыре.
Среди прочих наград имел ордена св. Станислава 2-й степени (25 марта 1840 г.), св. Анны 2-й степени (31 декабря 1845 г.), св. Владимира 3-й степени (6 декабря 1851 г.), св. Станислава 1-й степени (6 декабря 1853 г.), св. Анны 1-й степени (6 декабря 1854 г.), св. Владимира 2-й степени (28 августа 1856 г.), Белого Орла (8 сентября 1859 г.), св. Александра Невского (7 декабря 1862 г., алмазные знаки к этому ордену пожалованы 4 апреля 1865 г.).
22 января 1850 г. А. А. Баранцов женился на дочери отставного капитана А. П. Коробьина Софье Александровне (1823—1896); у них были дети — Наталия (1850—1873, замужем за П. А. Бильдерлингом), Вера (1852—1860), Екатерина (1855—после 1917, фрейлина, замужем за генерал-майором Н. Н. Мартыновым), Михаил (1857—1921, генерал от артиллерии, участник Первой мировой войны, командир 11-го армейского корпуса).
