Учёба и начало военной службы
Родился 27 мая 1837 года в Петербурге. Сын члена Государственного Совета, обер-церемониймейстера, д. т. с. графа Ивана Илларионовича Воронцова (1790—1854 гг.).
В 1855 году поступил в Московский университет, но в следующем же году перешёл на военную службу, поступив вольноопределяющимся в лейб-гвардии Конный полк; 25 марта 1858 года произведён в корнеты.
Военные действия на Кавказе
Участник военных действий на Кавказе в 1859—1862 гг.
1860 г. — произведён в поручики за боевое отличие со старшинством с 17.09.1859 г.
С 21.09.1861 г. — штабс-ротмистр.
17.11.1862 г. — произведён в ротмистры за боевое отличие и пожалован во флигель-адъютанты.
В Туркестане
В 1865 г. в чине полковника был направлен служить в Туркестан к генералу Д. И. Романовскому на должность начальника штаба. 2 октября 1866 г. командуя южной группой в составе трёх штурмовых колонн отличился при взятии бухарской крепости Ура-Тюбе, а 18 октября принял непосредственное участие в штурме Джизака. 28 октября 1866 г. произведён в генерал-майоры и назначен помощником военного губернатора Туркестанской области. За боевые отличия во время военных действий в Туркестане награждён орденом Св. Георгия 4-й степени (1867). После назначения К. П. фон Кауфмана Туркестанским генерал-губернатором Воронцов-Дашков покинул Среднюю Азию и вернулся в Петербург.
В Петербурге
С 15 октября 1867 по 21 октября 1874 г. — командир Лейб-гвардии Гусарского полка, одновременно со 2 октября 1873 г. по 21 октября 1874 г. — командир 2-й бригады 2-й гвардейской кавалерийской дивизии. С 21 октября 1874 г. по 23 июля 1878 г. начальник штаба гвардейского корпуса (30 августа 1876 г. произведен в генерал-лейтенанты), одновременно входил в состав Комитета по устройству и образованию войск (27.10—1.12.1894) и в Совет Главного управления государственного коннозаводства (1.12.1874—12.10.1878).
Во время русско-турецкой войны 1877—78 гг. командовал кавалерией Рущукского отряда (во главе отряда стоял наследник престола, будущий император Александр III). С 12 октября 1878 г. по 8 апреля 1881 г. начальник 2-й гвардейской пехотной дивизии.
В марте 1881 г. Воронцов-Дашков организовал своеобразное тайное общество (которое должно было охранять личность императора и бороться с «крамолой» тайными средствами) под названием «Добровольная Охрана», потом переименовавшееся в «Священную Дружину», в которое вступило немало высокопоставленных лиц (Победоносцев, Игнатьев, Катков).
Один из ближайших друзей Александра III. После восшествия на престол Александра III 1 июня 1881 г. назначен начальником охраны его величества и главноуправляющим государственным коннозаводством, а 17 августа 1881 г. также и министром Императорского Двора и уделов, канцлером Российских Царских и Императорских орденов.
30.08.1890 г. — произведен в генералы от кавалерии.
1893 г. — назначен председателем Комитета для рассмотрения представлений к наградам.
27.10.-1.12.1894 г. — в составе Комитета по устройству и образованию войск.
Весной 1896 года на него, как на министра Императорского Двора, были возложены все распоряжения по приготовлению к торжествам коронации Императора Николая II.
6 мая 1897 г. освобожден от должности главноуправляющего и министра и назначен членом Государственного совета.
Административная деятельность
С восшествием на престол Императора Александра III он призван был на пост главного начальника охраны императора, а 1 июня 1881 г. назначен главноуправляющим государственным коннозаводством, которое тогда же было восстановлено в виде самостоятельного ведомства, и 27 апреля 1882 г. получило новое положение и штаты. К занятию этой должности граф был подготовлен своей предыдущей деятельностью в качестве вице-президента Императорского Царскосельского скакового общества и президента Императорского Спб. рысистого общества.