Брайан Клэй родился в Остине (штат Техас) и вырос на Гавайях. Его мать — Мишель Исимото — иммигрировала в США из Японии, отец — Грег Клэй — афроамериканец. Родители развелись, когда Брайан ещё ходил в начальную школу, и он воспитывался матерью.
Брайан Клэй стал заниматься лёгкой атлетикой в старших классах, и продолжил тренировки в университете, однако после встречи с олимпийским призёром Крисом Хаффинсом решил переключиться на десятиборье. На Олимпиаде-2004 он завоевал серебряную медаль в этом виде спорта, а в 2005 году выиграл чемпионат мира. Из-за травм он не смог принять участия в чемпионате мира 2007 года, однако на Олимпиаде-2008 завоевал золотую медаль. Травмы помешали ему участвовать в чемпионате мира 2009 года.
