Окончил Московскую консерваторию у Александра Гольденвейзера. В 1927 г. участник Первого Международного конкурса пианистов имени Шопена, лауреат четвёртой премии. В 1933 г. Григорий Коган, характеризуя манеру Гинзбурга, отмечал:
С 1929 г. преподавал в Московской консерватории, с 1935 г. профессор. Среди учеников Гинзбурга — Глеб Аксельрод, Сергей Доренский, Алексей Скавронский.
В 1946 г. удостоен звания заслуженного деятеля искусств России. Лауреат Сталинской премии второй степени (1949).
К столетию Гинзбурга, определяя его место в истории русского пианизма, современный специалист утверждает:
