О происхождении и жизни Иоанна до занятия им кафедры Арля ничего не известно. Так же неизвестна и точная дата начала его епископства. Историк XVII века Пьер Сакси датировал это событие 800 годом, однако достоверные подтверждения этой датировки в исторических источниках отсутствуют. Согласно спискам глав Арльской архиепархии, предшественником Иоанна II был архиепископ Лупо.
Впервые Иоанн II упоминается в конце 811 года, когда он как один из свидетелей подписал в Ахене завещание императора Карла Великого. Кроме всего прочего, в этом документе говорилось о том, что после смерти императора Арльской архиепархии будет выделена часть личного имущества покойного монарха. Предполагается, что к этому времени Иоанн II мог быть уже наделён должностью папского викария в Галлии.
2 апреля 812 года в Ахене Карл Великий выдал хартию в пользу готских беженцев из Испании. В ней он приказывал графам приграничных с владениями мусульман земель Франкского государства прекратить притеснения переселенцев, снизить налагаемые на них государственные налоги и отказаться от практики захватов принадлежавших им земель. Император дал поручение архиепископу Иоанну II доставить этот документ королю Аквитании Людовику Благочестивому и в качестве missus dominicus вместе с ним проконтролировать исполнение его повеления. Иоанн успешно выполнил это поручение Карла Великого, за что получил от императора богатые подарки.
К 812 году относится и упоминание имени архиепископа Иоанна II в сочинении Теодульфа Орлеанского «О таинстве крещения» (лат. De ordine baptismi).
В 813 году по приказу императора Карла Великого в Майнце, Реймсе, Туре и Арле были проведены соборы, которые были призваны выработать решения об исправлении норм жизни духовенства и о взаимоотношениях государственной власти и церкви Франкского государства. Архиепископ Иоанн II председательствовал на открывшемся 10 мая Арльском соборе, на котором также присутствовали архиепископ Нарбонны Небридий и более двадцати епископов. Участники собора приняли 26 канонов, в основном, посвящённых вопросам церковной дисциплины.
Ко времени правления Карла Великого церковные предания относят и получение Арльской архиепархией реликвий Лукиана Антиохийского. Согласно Агобарду, мощи нескольких христианских святых были обнаружены в Карфагене франкскими послам, направленными императором к халифу Харуну ар-Рашиду, и в 807 году привезены в Арль. Однако в следующем году большинство реликвий по приказу монарха были переданы Лионской архиепархии, кроме останков святого Лукиана, которые архиепископ Иоанн II торжественно перенёс в церковь Нотр-Дам, один из старейших христианских храмов Арля.
После смерти в 814 году Карла Великого архиепископ Арля и при его сыне, Людовике I Благочестивом, остался одним из самых доверенных лиц нового монарха. В конце 815 — начале 816 года по приказу императора Иоанн II ездил в Италию, чтобы содействовать прекращению конфликта между папой римским Львом III и архиепископом Равенны Мартином. Иоанн посетил Равенну и Рим и хотя сначала папа настаивал на необходимости церковного суда над Мартином, посредничество архиепископа Арля способствовало затем смягчению позиции Льва III в отношении предстоятеля Равеннской архиепархии. Современник событий, историк Агнелл, писал, что своими действиями Иоанн II добился уважения обоих конфликтовавших иерархов и, уезжая из Италии, получил богатые дары как от папы Льва, так и от архиепископа Мартина.
В июле 816 года преемник скончавшегося Льва III, новый папа римский Стефан IV (V), приехал из Италии в Галлию. Для его торжественной встречи Людовик I Благочестивый направил делегацию из высокопоставленных светских и духовных лиц, в которую вошёл и Иоанн II. 5 октября в Реймсе состоялась церемония коронации императора Людовика и его супруги Ирменгарды папой римским. На ней архиепископ Арля, как папский викарий, был первым из помощников Стефана. Позднее, Иоанн II принял участие в состоявшемся здесь же церковном соборе, во время которого получил многочисленные подарки от императора и папы римского.
Приезд папы римского Стефана IV (V) в Галлию — это последнее достоверное свидетельство исторических источников об Иоанне II. Дата смерти архиепископа в современных ему документах не называется. Традиционно ею считается 819 год. Преемником Иоанна II на кафедре Арля стал архиепископ Нотон.
