В 1832—1834 гг. учился в Саратовском духовном училище, затем в Пермской духовной семинарии, после чего был рукоположён в священники и назначен настоятелем единоверческого Никольского храма на Захарьевской ул. в С.-Петербурге (т. н. миловской церкви, ныне снесенной, — не путать с Никольским храмом на нынешней ул. Марата).
Углубленно занимался историей старообрядчества, выступал в церковной и светской печати как публицист. В 1859 г. безуспешно призывал вернуть в свой храм отобранный оттуда и переданный в Исаакиевский собор образ Тихвинской Богородицы. Выступал за учреждение единоверческого епископата. Обратился к собору архиереев, возглавляющих южнорусские епархии, с посланием в защиту старообрядцев («Послание, поднесенное высокопреосвященному Платону, митр. киевскому и галицкому, председателю собора российских архипастырей, в Киеве, в сентябре 1884 г.», — Сочинения, т. 1). В послании, в частности, говорилось, что «целый ряд императорских правительств… не щадят истязаний, только бы отучить свой народ от двуперстия и только добиться того, чтобы он не называл Господа Истинным». Киевский собор он призывал к тому, чтобы все епископы «прямодушно и безвозвратно отреклись от обрядонасилия и остальных эллино-афонских и киево-латинских преданий», чтобы была резко увеличена численность епископата: по его мысли, свои архиереи должны быть во всех городах, включая уездные, и даже в крупных селах — к подобному в 1920-х гг. призывал еп. Андрей (Ухтомский). Из-за содержавшейся в послании резкой критики обычаев современной восточной церкви (в том числе поливательного крещения и троеперстия) это обращение вызвало гнев К. П. Победоносцева, который решил отправить о. Иоанна на Соловки или в Суздаль.
В начале 1885 года о. Иоанн был вынужден бежать в Москву, укрывшись у еп. Саватия в моленной на Апухтинке, затем вместе с Онисимом Швецовым (будущим еп. Арсением) тайно перебрался в Белую Криницу и по благословению митр. Афанасия поселился в старообрядческом Никольском монастыре, где ему было разрешено присутствовать на старообрядческих службах, стоя на клиросе. Также Верховский помогал Онисиму Швецову составлять и печатать сочинения в защиту старообрядчества.
В 1886 году он напечатал в Лейпциге и в Черновце свои сочинения, в двух томах. В первом томе напечатано послание Собору архипастырей в Киеве 1884 г. и статья о посолонном и противосолонном кругохождениях, прежде вышедшая в «Церковно-общественном Вестнике». Во второй том вошли вышеназванный «Свод практических истин» и «Голос православного против папизма на Западе и на Востоке» — статья, написанная по поводу письма иезуита Гагарина, которое было опубликовано в 1878 г. в «Церковно-Общественном Вестнике».
Определением Св. Синода от 19 июля 1885 лишён священного сана и исключён из списка церковного клира. Официально к Белокриницкой иерархии не присоединялся, считая свое положение более удобным с точки зрения объективности критики официального единоверия и Синодальной Церкви вообще. Основные работы этого рода собраны в трехтомном издании «Сочинения И. Т. Верховского» (Лейпциг-Черновцы, 1886—1888). Им была также издана книга «Вселенский идеал Христовой Церкви» (Лейпциг, 1888). Когда Верховский тяжело заболел, то по хлопотам его дочери ему разрешили вернуться в Россию. Вскоре после возвращения он умер. Похоронен как простец на единоверческом Охтинском кладбище в Петербурге.
