Ученик Адриана Боулта. В 1962—1983 гг. руководил музыкальной жизнью города Гилдфорд, создал Гилдфордский филармонический оркестр. С 1983 г. был вторым дирижёром Лондонского филармонического оркестра. В 1985—1989 гг. возглавлял Ольстерский оркестр, одновременно в 1986—1988 гг. — Симфонический оркестр Мальмё.
Хэндли известен, главным образом, своей работой с музыкой британских композиторов XX века — в частности, Арнолда Бакса, Артура Блисса, Чарльза Вильерса Стенфорда, Ральфа Воан-Уильямса и др. Роберт Симпсон посвятил ему свою Десятую симфонию.
В 2003 г. Хэндли был удостоен звания Командора Ордена Британской империи.
