Родился в семье эмигрантов из России, мать была преподавательницей фортепиано, отец — скрипачом-любителем. Тарускин с детства учился игре на виолончели, в 1970-80-е гг. играл на виоле да гамба в ансамбле старинной музыки Aulos Ensemble.
Окончил Колумбийский университет (1968) как музыковед, посвятив магистерскую диссертацию Владимиру Стасову (англ. Vladimir Vasilievich Stasov: Functionary in Art). В 1971—1972 гг. по обмену работал в Московской консерватории. В 1975 г. защитил в Колумбийском университете диссертацию о русском оперном искусстве 1860-х гг. (англ. Opera and Drama in Russia: The Preachment and Practice of Operatic Aesthetics in the Eighteen Sixties), посвящённую преимущественно операм Серова, Даргомыжского и Кюи и роли критики Стасова в формировании дальнейшего канона русской оперы. Затем Тарускин преподавал в своей alma mater до 1986 года, после чего перешёл в Калифорнийский университет в Беркли.
Основные научные интересы Тарускина лежат в области русской музыки. Особенно влиятельны его сборник статей о Модесте Мусоргском (англ. Musorgsky: Eight Essays and an Epilogue; 1993) и монументальный двухтомный труд «Стравинский и русские традиции» (англ. Stravinsky and the Russian Traditions: A Biography of the Works through Mavra; 1996). В то же время он подготовил целый ряд изданий средневековой музыки и много высказывался в различных статьях по поводу современной практики её исполнения, выступая последовательным, хотя и умеренным критиком «исторического исполнительства». Масштабным итоговым трудом Тарускина стала шеститомная «Оксфордская история западной музыки» (англ. The Oxford History of Western Music; 2005). Музыковедческая деятельность Тарускина удостоилась целого ряда американских и международных научных наград. Как музыкальный обозреватель Тарускин систематически публикуется, прежде всего, в The New York Times.
Кроме того, Тарускин выступал также как дирижёр, в том числе хоровой. В 1968—1973 гг. он возглавлял ансамбль Collegium Musicum при Колумбийском университете, затем хор Cappella Nova. Во главе этих коллективов Тарускин записал пятнадцать дисков средневековой музыки, в том числе альбомы, посвящённые произведениям Жоскена де Пре, Уильяма Бёрда, Иоганна Окегема.
