Родился в маленьком городке Тег, ныне являющемся частью города Умео. В юности много путешествовал по США, где принимал участие в политической жизни страны, в частности, в 1959 работал в качестве активиста выборной кампании Нельсона Рокфеллера, когда тот избирался губернатором штата Нью-Йорк.
Позже Ульстен являлся лидером молодежного либерального движения, а позже, в 1964 был избран в парламент страны. При формирировании в 1976 первого за сорок лет несоциалистического правительства в Швеции, которое возглавил Турбьёрн Фельдин, получил пост статс-секретаря по внешним сношениям. В 1978 Ульстен был избран на пост лидера Либеральной партии. В том же году Ульстен занял пост премьер-министра Швеции, возглавив правительство меньшинства. Его кабинет состоял из представителей либералов и независимых министров. Пост министра иностранных дел занимал Ханс Бликс, позже получивший международную известность как генеральный секретарь МАГАТЭ в период дипломатической фазы конфликта между США и Ираком, принимавший деятельное участие в организации международных инспекций атомного проекта Ирака. Серьезный политический конфликт, вызванный разногласиями ведущих партий страны в вопросе энергетической политики, из-за которого распалась прежняя коалиция, вызвал скорое падение и кабинета Ульстена. В 1979, после проведения досрочных выборов, правительство вновь сформировал Турбьёрн Фельдин, а Ульстен занял пост министра иностранных дел. После отставки с поста министра в 1982 и ухода в 1983 с поста лидера Либеральной партии, Ульстен занимал различные дипломатические посты.
