Учился в Московской консерватории у Василия Сафонова, окончил в 1892 г. первым в выпуске (опередив своих соучеников Сергея Рахманинова и Александра Скрябина). Концертировал, давал частные уроки. В 1895 г. завоевал первую премию на Втором Рубинштейновском конкурсе в Берлине. В 1898 г. женился на своей бывшей ученице Розине Бесси, на всю жизнь ставшей его ассистентом.
В 1907 г. семейство Левиных уехало из России и обосновалось в Берлине, где испытало много тягот в годы Первой мировой войны. В 1919 г. они перебрались в Нью-Йорк, где Иосиф Левин вплоть до своей смерти преподавал в Джульярдской школе, а Розина Левина ему ассистировала.
Преподавательская деятельность занимала Левина больше, чем исполнительская, поэтому он не слишком много выступал и оставил мало записей. Однако несколько сохранившихся записей Левина, особенно этюды Шопена и Шумана, оцениваются специалистами исключительно высоко: так, известный американский музыковед Гарольд Шонберг сравнивал игру Левина с «согласным пением утренних звёзд».
Левин также написал учебное пособие «Основные принципы фортепианной игры» (англ. Basic Principles in Pianoforte Playing), считающееся классикой музыкально-педагогической литературы.
