Прозвище ар-Рашид («Справедливый») получил не от потомков, а от своего отца, халифа Мухаммада ибн Мансура аль-Махди, когда был назначен наследником престола.
Стал халифом и правил с помощью визирей из семьи Бармакидов, представлявших иранскую феодальную аристократию, а после их отстранения в 803 году стал править единолично. Этот процесс сопровождался репрессиями, в ходе которых попали в заключение или были казнены многие представители Бармакидов (в том числе знаменитый визирь Джафар, которого цикл «Тысячи и одной ночи» изображает другом и постоянным спутником халифа в его ночных путешествиях по Багдаду).
Первый период правления Харуна ар-Рашида ознаменовался экономическим и культурным расцветом. Халиф основал в Багдаде большой университет и библиотеку, поощрял занятия науками, поэзией и музыкой. К Харуну ар-Рашиду был приближен поэт Аббас ибн аль-Ахнаф, представитель поколения, отказавшегося от канонизированных форм доисламской поэзии. При нём в Халифате достигли значительного развития сельское хозяйство, ремёсла, торговля и культура (преимущественно литература). Вместе с тем наметились признаки его распада: антиправительственные восстания в Дейлеме, Сирии и других областях.
Халиф продолжал борьбу с Византией, начавшуюся до него.
Умер в 809 году во время военного похода, для подавления восстания Рафи ибн Лейса в Средней Азии. По легенде его последними словами были «О Бессмертный! Прости смертного».
