24.05.1896-4.02.1897 рр.. - Товариш Міністра внутрішніх справ Російської Імперії Горемикін І.Л.. Завідував Окремим корпусом жандармів (ОКЖ) із стройової, інспекторської, господарської та військово-судової частинах.
4.02.1897-12.10.1904 рр.. - Помічник володаря громадянської частиною на Кавказі, командувача військами Кавказького військового округу і наказного отамана.
З 19.12.1905 р. - член Державної Ради. У складі особливої ??комісії щодо законопроекту «Про санітарну та гірській охорони курортів» (з 12.12.1912). Входив до групи правих.
У липні 1914 року, перебуваючи у відпустці в Німеччині, був інтернований і як військовополонений місяць провів у в'язниці Моабіт, але в кінці січня 1915 р. йому було дозволено виїхати з Німеччини, і 04.02.1915 він прибув до Петрограда.
На 10.07.1916 р. в тому ж чині і посади.
01.05.1917 р. залишено за штатом; 14.12.1917 року звільнений від служби з 25.10.1917 (у числі інших членів за призначенням). Про дружину даних немає. Дітей не мав. Нерухомою власністю не володів (на 1905-1917 рр..). Проживав за адресою: Петроград, Ертель провулок, 2 (Довідник: Петроград 1917).
6.12.1903 р. - генерал від інфантерії.
12.10.1904-19.12.1905 рр.. - Віленський, Ковенський і Гродненський генерал-губернатор і командувач військами Віленського військового округу.
У 1906-1917 роках, після реорганізації Державної Ради, входив до складу його присутніх членів. Числився за Генеральною Штабу.
Військові праці
Повна довідкова книжка для вільнонайманих. СПб., 1874
Збірник тактичних завдань. 2-е вид. СПб .. 1 879 (спільно з майбутнім начальником Генерального штабу і військовим міністром В. А. Сухомлиновим і К. М. Дуроп); 28 листопада 1878 / / PC; 1908. Червень.
Наукова, культурна та громадська діяльність
У серпні 1905 р. з ініціативи віленського генерал-губернатора Фрезі була скликана міжвідомча комісія з питання про виконання п. 14 Указу від 17 Квітень 1905 «Про зміцнення почав віротерпимості». Комісія була заснована для «всебічного з'ясування питання та вироблення одноманітною практики при здійсненні пунктів Указу про мову викладання Закону Божого». На закінчення роботи комісії було висловлено побажання Міністерству Народної Освіти якомога швидше видати правила про порядок викладання Закону Божого рідною мовою учнів.
Голова Кавказького статистичного комітету, головував у багатьох тимчасових комісіях: про зміну порядку подушної подати на поземельну , про перетворення земської варти та інших.
У березні 1905 р. віленський генерал-губернатор А. Фрезі звернувся до міністра внутрішніх справ з пропозицією введення додаткового богослужіння в костьолах білоруською мовою. Центральна влада не відреагували. Але масовий перехід із православ'я в католицизм, який пішов за Іменним Найвищим Указом від 17 квітня 1905 р., змусив їх повернутися до цієї пропозиції.
Віце-голова товариства розповсюдження православ'я на Кавказі.
З 26.02.1902 р. - дійсний член Московського Археологічного Товариства (МАО).
Голова Кавказького відділу Російського географічного товариства. Сприяв збереження і вивчення пам'яток старовини на Кавказі.
