Джон Джозеф родился в Нью-Йорке. В раннем детстве, вместе со своим младшим братом, он был отдан государством под опеку итальянской семьи. В 14 лет Джон убежал из дома и жил на улицах Нью-Йорка. Главным вокалистом Cro-Mags он стал вскоре после основания группы. В 1987 году он покинул группу, но в начале 1990-х годов вернулся в её ряды. Однако, конфликт с Харли Флэнаганом сделал совместную работу невозможной. Джон Джозеф спел на первом, третьем и четвёртом альбомах группы («The Age of Quarrel», «Alpha Omega» и «Near Death Experience»).
В 2007 году вышла в свет автобиография Джона Джозефа, «The Evolution of a Cro-Magnon», в которой он описывает своё трудное детство, музыкальную карьеру и свою жизнь как монаха-кришнаита в начале 1980-х годов. В 2010 году вышла вторая его книга, «Meat is for Pussies», посвящённая теме вегетарианского питания и здорового образа жизни.
Джон Джозеф является одним из участников документального фильма «American Hardcore».
