Иоанн Лид и Захария Митиленский сообщают, что Иоанн был родом из Кесарии Каппадокийской. Прокопий Кесарийский, Иоанн Малала, Пасхальная хроника (Chronicon Paschale) и Захария Митиленский именовали его Иоанном Каппадокийским в целях устранения противоречий, так как в то время имя Иоанн (по гречески Ioannes и по латыни Johannes) применялось очень широко. Лид и Малала временами упоминают его просто как «Каппадокиец». О его родственных связях сведения крайне скупы и только двое его родственников установлены достоверно. Это его дочь Юфемия (Euphemia) и некий родственник по имени Иоанн Максиллоплюмаций (Ioannes Maxilloplumacius).
Современные ему историки были настроены предвзято в отношении его, в частности Прокопий и Лид, и их оценка зачастую окрашена их предубеждениями. Прокопий утверждает, что Иоанн был плохо образован, хотя неохотно и соглашается, что именно выдающиеся природные способности Каппадокийца привели к его возвышению до такого положения. Впервые Иоанн появляется в первоисточниках в качестве скриниариуса (scriniarius) (нотариус) на службе у некоего magister militum (военного магистра). Его идеи организации управления, как сообщается, привлекли внимание Юстиниана, что привело к его повышению до должностей, подразумевающих ответственность за финансы. Находясь на этих постах, он смог наиболее широко зарекомендовать себя, чтобы получить титул Vir illustris и, в конечном счёте, занять пост префекта. Есть предположение, что его близкие взаимоотношения с Юстинианом могли завязаться в период службы Юстиниана в должности Magister militum praesentalis в 520-х гг., которая обычно предшествовала избранию на трон.
Иоанн был поставлен во главе первой комиссии по созданию нового свода законов Юстиниана, Corpus Juris Civilis, а также стал главным советником Юстиниана в области права. Он также был назначен на должность префекта Востока, давшую ему полномочия вводить новые налоги с населения. Новые налоги были очень непопулярны, и толпа возмутилась, что привело к Восстанию Ника 532 года, требуя отставки Иоанна и квестора Трибониана. Юстиниан удовлетворил их требованиям, пока восстание не было подавлено, после чего он восстановил Иоанна в должности префекта и Трибониана в должности квестора. После восстания, поддерживавшегося высшим классом сенаторов, Иоанн, который был такого же низкого происхождения, как и Юстиниан, стал даже более влиятелен в политических делах. Иоанн оказывал влияние на военные решения Юстиниана, способствуя подписанию Вечного мира с Хосровом I, царём Персии, и убеждая Юстиниана не опустошать казну большим походом в Северную Африку. Иоанн работал совместно с императором над сокращением аппарата чиновников и бюрократии в Константинополе и в провинциях, внедряя зачатки меритократии.
В результате происков императрицы Феодоры, в 541 году удалён из Константинополя и назначен епископом в Кизике, а позже переселён в Верхний Египет в город Антиноополь. После смерти Феодоры (548) Иоанн вернулся в Константинополь. Умер в нищете и бедности. Во время ссылки он вынужден был просить милостыню, что, как предполагают, послужило основой к созданию легенды о нищенстве Велизария.
