Военная карьера до знакомства с Бонапартом
Родился в 1771 году в протестантской семье. Родители хотели видеть его пастором, но в 16 лет Рапп вступил рядовым в конно-егерский полк.
1 января 1791 года получил чин бригадир-фурьера. 3 апреля 1794 года был произведен в подпоручики. В 1794 году стал адъютантом будущего любимца Бонапарта генерала Луи Дезе. Рапп отличился, сражаясь в Мозельской армии Французской республики. 28 мая 1795 года в бою при Лингенфельде с сотней кавалеристов атаковал и разбил прусский гусарский полк.
Военная карьера при первом консуле генерале Бонапарте
В 1798 году сопровождал генерала Дезе в Египет; 7 октября с.г. получил в командование эскадрон.
Был ранен в сражении при Саманхуде (22 января 1799 года), а 14 февраля назначен Наполеоном командиром бригады в дивизии Дезе.
Вместе с Дезе покинул Египет и принял выдающееся участие в битве при Маренго (14 июня 1800 года), в котором именно своевременный приход на поле боя дивизии генерала Дезе решил исход битвы. На следующий день после битвы при Маренго назначен адъютантом генерала Бонапарта.
13 января 1801 года возглавил только что сформированный эскадрон мамелюков, входивший в состав личного конвоя первого консула Бонапарта (будущая Старая Гвардия императора Наполеона).
В 1802 году выполнил важную дипломатическую миссию в Швейцарии.
Бонапарт внимательно следил за судьбой своего адъютанта. 29 августа 1803 года он присвоил Раппу чин бригадного генерала, в 1804 году сделал кавалером ордена Почётного легиона.
Служба в Великой Армии императора Наполеона
В 1805 году выполнял личные поручения императора в Ганновере. В том же году назначен на 2-м командиром конных гренадер Императорской гвардии.
Во время 1-й австрийской кампании находился в составе личной охраны Наполеона. Примерно отличился в битве при Аустерлице. Прикрывая пехоту, он повел в атаку два гвардейских эскадрона и разбил кавалергардский полк русского царя Александра I и взял в плен князя Репнина, был ранен. Прискакав к Наполеону, он доложил: «Сир, знамена и пушки русской гвардии захвачены!». По приказу Наполеона эту сцену запечатлел придворный живописец Франсуа Жерар. 24 декабря 1805 Рапп получил чин дивизионного генерала.
6 июля 1806 года Рапп был назначен командующим 5-м военным округом в Страсбурге, а затем переведен на пост губернатора Майнца. Однако вскоре он вновь был отозван в личную свиту императора.
В ходе восточно-прусской-польской кампании 1806—1807 годов сражался при Шлейце и Йене, командовал авангардом маршала И. Мюрата. В сражении при Насельске 24 декабря 1806 года командовал авангардом маршала Н. Л. Даву. Прославился своими отважными действиями в сражении при Голымине (26 декабря 1806 года). За свои подвиги в этой кампании заслужил произвище «Неустрашимого».
28 февраля 1807 года назначен губернатором крепости Торн. После взятия Наполеоном Данцига был назначен в конце мая — начале июня 1807 года губернатором этого города: за гуманное управление жители города даже преподнесли ему шпагу, украшенную алмазами, с надписью: «Генералу Раппу город Данциг с признательностью».