Родился в 1423 году в деревне Кастаньо. Когда ему было 8 лет, от случайного пожара сгорел его дом, в огне погиб его отец. Возможно, невольным виновником этого пожара был сам Андреа, так как впоследствии на одной из своих работ он изобразил себя в образе святого Юлиана Гостеприимного, кающегося в отцеубийстве.
Настоящее имя — Андреа ди Бартолоди Барджилла (Andrea di Bartolodi Bargilla). В молодости расписывал фреску Козимы Медичи (повешенного во время бунта) в Palazzo del Podest? в Венеции. В 1442 году расписывал фреску в Святом Захарии, на которой вместе с Франческо да Фаенци поставил подпись и дату.
Первыми значительными работами были «Тайная вечеря» в трапезной монастыря св. Аполлония и три сцены «Страданий Христа» (ныне находятся в музее Кастаньо, Флоренция).
В 1451 году продолжает фреску в Сан Эгидио, ранее начатую Доменико Венециано.
На вилле Кардуччи Пандальфини в 1450 году художник создаёт серию портретов «Знаменитых мужчин и женщин» (ныне находятся в музее Кастаньо, Флоренция). Серия заказана в июне 1449. На ней изображены три Флорентийских военачальника, три знаменитых женщины и три поэта. После смерти заказчика вилла была продана в октябре 1451 года.
Известный историк искусства Джорджо Вазари обвинял Андреа дель Кастаньо в убийстве из зависти своего учителя и покровителя Доменико Венециано (который на самом деле пережил своего ученика на несколько лет). Эта легенда стала настолько известной, что многие работы Андреа были закрашены, а его имя — подвергнуто забвению. Лишь в конце XIX в. под слоем краски были обнаружены некоторые его фрески, после чего его имя было возвращено в историю искусства.
Умер в 1457 году во Флоренции.
