Сын генерала от артиллерии И. К. Арнольди, родился 21 апреля 1817 года, образование получил в Пажеском корпусе, из которого выпущен 27 июля 1837 года корнетом в лейб-гвардии Гродненский гусарский полк. 26 марта 1839 года получил чин поручика.
20 февраля 1842 года Арнольди был командирован на Кавказ и там в рядах Моздокского казачьего полка принял участие в целом ряде экспедиций. Особенно отличился при отражении неприятельского нападения на аул Казак-Мирза-Юрт и на Батам-Юрт, и 17 апреля 1843 года за отличие произведён в штабс-ротмистры со старшинством со дня отличия, то есть с 1 июля 1842 года. 6 декабря 1846 года произведён в ротмистры, причём с 15 мая командовал эскадроном. 16 мая 1851 года произведён в полковники.
В 1849 году участвовал в Венгерском походе и был награждён орденом св. Анны 2-й степени. В 1851 году произведён в полковники. В Восточную войну находился в составе войск, охранявших побережье Балтийского моря. В 1856 году награждён орденом св. Станислава 2-й степени с императорской короной (в официальном послужном списке действительно показано, что орден св. Станислава 2-й степени с короной получен после такового же ордена св. Анны).
9 октября 1857 года Арнольди был уволен в бессрочный отпуск, а 1861 году вышел в отставку, но через три года вновь поступил на службу с прикомандированием к Учебному кавалерийскому эскадрону и вскоре был назначен командиром 2-го лейб-драгунского Псковского полка.
В 1868 году награждён орденом св. Владимира 3-й степени и 21 декабря произведён в генерал-майоры с назначением помощником начальника 6-й кавалерийской дивизии. В 1871 году получил орден св. Станислава 1-й степени, в 1873 году награждён орденом св. Анны 1-й степени и назначен командиром 1-й бригады 6-й кавалерийской дивизии, с 1875 года занимал должность командира 2-й бригады 11-й кавалерийской дивизии и затем 1-й бригады 12-й кавалерийской дивизии.
Во время войны с Турцией 25 июня после кавалерийской стычки занял город Белу; 26 июня имел стычку при деревне Обертеник, 7 июля участвовал в деле при деревне Иован-Чифлик и 18-го при перестрелке у деревни Кадыкиой, близ Рущука. 22 августа принял начальство над передовым отрядом, расположенным при селе Кацелеве, и 24 августа за мужество и храбрость, оказанные в сражении у этого селения, когда турки пытались прорвать центр Рущукского отряда, был награждён золотой саблей с надписью «За храбрость».
15 сентября 1877 года он был назначен командующим 4-й кавалерийской дивизии, состоял в отряде генерал-адъютанта Гурко. За мужество и храбрость, оказанные в делах с турками при Дольнем Дубняке и Телише, награждён орденом св. Владимира 2-й степени с мечами. 14 ноября Арнольди получил приказание главнокомандующего обеспечить тыл и правый фланг отряда генерал-адъютанта Гурко, двинувшегося к Балканам из-под Плевны, 24 декабря перешёл Балканы и 29-го вступил в Софию, где был назначен военным губернатором, пробыв в этой должности до 19 июля 1878 года. 16 апреля 1878 года произведён в генерал-лейтенанты.
В 1879 году Арнольди был назначен в распоряжение великого князя Николая Николаевича Старшего, как генерал-инспектора кавалерии. В этот период службы Арнольди 21 июня 1879 года был награждён орденом Белого Орла с мечами, за отличное мужество и распорядительность, оказанные во время командования кавалерийским отрядом за Искером в ноябре 1877 года и в делах при переходе через Балканы.
В 1882 году Арнольди был зачислен в запасные войска, в 1883 году уволен в запас армейской кавалерии, в 1884 году был произведен в генералы от кавалерии и уволен от службы, с мундиром и с пенсией. Скончался 25 января 1898 года, похоронен на Казанском кладбище Царского Села.
