Впервые привлёк к себе внимание, выпустив в 1982 г. книгу бесед с Клаудио Аррау, переведённую на шесть языков. За ней последовали популярная книга для юношества «Дворжак и Америка: В поисках Нового мира» (англ. Dvorak and America: In Search of the New World; 2003) и три неординарных труда скорее культурологического характера и парадоксалистских устремлений: «Понимая Тосканини: Как он превратился в культурного идола Америки и помог создать новых слушателей для старой музыки» (англ. Understanding Toscanini: How He Became an American Culture-God and Helped Create a New Audience for Old Music; 1987), «Вагнеровские ночи: Американская история» (англ. Wagner Nights: An American History; 1994) и «Классическая музыка в Америке: История её взлёта и упадка» (англ. Classical Music in America: A History of Its Rise and Fall; 2005). Горовиц, в частности, видит период расцвета американской музыки в последней четверти XIX века, до того, как исполнительское и особенно дирижёрское искусство отделилось в личном плане от композиторского (фигура Тосканини выступает для Горовица переломной, потому что никогда прежде репутация крупнейшего музыканта мира не формировалась вокруг «чистого» исполнителя, притом весьма далёкого от музыки, создаваемой именно в это время). Кроме того, книга Горовица «Торговля слоновой костью» (англ. The Ivory Trade; 1990) посвящена феномену пианистических конкурсов.
В 1976—1980 гг. Горовиц был музыкальным критиком «Нью-Йорк Таймс», с 1998 г. регулярно сотрудничает с Times Literary Supplement. В промежутке он довольно много занимался музыкальным менеджментом, заметно подняв уровень и репутацию Бруклинского филармонического оркестра, с которым работал в 1992—1997 гг. как художественный руководитель и исполнительный директор.
