Родился в Трапезунде. Дружил с философом и историком Михаилом Пселлом, по рекомендации своего друга был приближен ко двору императора Константина IX Мономаха.
Стал судьей столичного ипподрома и экзактором, позже — номофилаксом — главой юридической школы константинопольского университета. После этого был монахом на горе Олимп.
Будучи патриархом, активно вмешивался в государственные дела и защищал права Церкви от притязаний императоров.
Племянник Иоанна, по поручению императора Михаила Дуки (1071—1073), составил извлечение из римской истории Диона Кассия, из которого сохранились книги XXXV — LXXX. Проповеди Иоанна издал С. F. Matth?i, «Xiphilini Joannis et Basilii Magni aliquot orationes» (M. 1775).
