О'Брайен родился в Бруклайне, штат Массачусетс (не путать с Бруклином Нью-Йорка) в семье Томаса О'Брайена, доктора-эпидемиолога и профессора медицины Гарварда и Руфи О'Брайен, юристки и партнера в консалтинговой компании Роупс и Грей. Конан -- третий из шести детей в семье. Семья О'Брайенов была ирландской католической семьей, предки которой иммигрировали в США еще до гражданской войны 19-го столетия. В одном из эпизодов (серий) Late Night шоу Конан О'Брайен снялся в Ирландии, в округе Керри (county Kerry), где жили и произошли его предки.
В начале своей карьеры на телевидении Конан О’Брайен был автором сценариев популярной телепрограммы «Saturday Night Live» и писал сценарии для мультсериала «Симпсоны».
Также снялся в легендарном ролике «Человек-молекула», который получил в России огромное распространение.
