Первые уроки музыки получил у своего отца, также виолончелиста. Окончил Ленинградскую консерваторию по классу виолончели у Эммануила Фишмана, которого называл своим вторым отцом. В 1970 завоевал Первую премию на Международном конкурсе «Пражская весна». В 1974 завоевал Первую премию (Золотую медаль) на V Международном конкурсе им. П. И. Чайковского.
В 1977 эмигрировал из СССР. Преподавал в Кёльнской Высшей школе музыки (1977—1992), в Берлинской Высшей школе музыки им. Ханса Эйслера (с 1998), а также в Базельской академии музыки.
Активный участник Международного музыкального фестиваля Гидона Кремера в Локенхаузе. В 2002 вместе со своим коллегой Вольфгангом Бёттхером стоял у истоков Международного конкурса виолончелистов имени Эммануэля Фойермана.
Был первым исполнителем Concerto grosso для трёх виолончелей Кшиштофа Пендерецкого (2001, вместе с Трульсом Мёрком и Ханна Чанг). Для Пергаменщикова написан Второй концерт для виолончели с оркестром Кшиштофа Мейера (1995).
Записывался на лейблах Chandos (в антологии Анри Дютийё), Decca, EMI, Orfeo, Phillips (фестиваль в Локенхаузе), ECM. Для полной антологии произведений И. С. Баха, выпущенной немецким лейблом H?nssler Classic к баховскому юбилею, записал сюиты для виолончели соло.
