Училась в Институте музыкального искусства у Артура Эдуарда Джонстона (композиция) и Берты Фейринг Тэппер (фортепиано), затем в Консерватории Новой Англии у Чарлза Леффлера и Генриха Гебхарда. Выступала как пианистка, аккомпаниатор и в составе камерного ансамбля.
В 1918 г. вышла замуж за банкира Джеймса Пола Варбурга и оставила концертную деятельность, однако в 1920-е гг. всё активнее выступала как композитор, сочиняя преимущественно вставные номера для бродвейских мюзиклов. Тексты для многих из них писал, под псевдонимом Пол Джеймс, её муж. В 1930 г. мюзикл Свифт и Джеймса «Fine and Dandy» (разговорное устойчивое выражение со значением «всё отлично») выдержал 255 представлений, а Свифт стала первой женщиной, чей мюзикл был поставлен на Бродвее (до этого женщинам-композиторам принадлежали только отдельные песни). В 1934 г. по заказу Джорджа Баланчина Свифт написала балет «Alma Mater» из жизни студентов Йельского университета (оркестрован Мортоном Гулдом).
В 1925 г. Свифт познакомилась с Джорджем Гершвином, оказавшим на неё большое влияние, и в 1934 г. ради него развелась с мужем. После смерти Гершвина в 1937 г. Свифт вместе с его братом Айрой работала с оставленными им набросками, из которых в дальнейшем был составлен саундтрек фильма «Ужасная мисс Пилгрим» (1947), известного тем, что в нём дебютировала в крохотной роли Мерилин Монро.
В 1939 г. Свифт руководила программой лёгкой музыки на Всемирной выставке в Нью-Йорке. В том же году она увлеклась неким ковбоем и затем прожила несколько лет на ранчо в Орегоне, о чём написала книгу «Кто бы мог пожелать большего?» (англ. Who Could Ask For Anything More?; 1943), экранизированную в 1950 г. под названием «Ни одной скучной минуты» (англ. Never a Dull Moment) с Айрин Данн в роли Кей.
В дальнейшем Свифт продолжала сочинять мюзиклы и музыку для различных выставок и торжественных мероприятий, изредка отдавая дань и своей изначальной принадлежности к миру академической музыки (в частности, она написала Вариации для виолончели и фортепиано для Мари Розанофф). Песни Свифт исполняли и записывали в разное время Элла Фицджеральд, Барбра Стрейзанд, Фрэнк Синатра, Пегги Ли, Арт Тейтум, Стефан Грапелли, Чарли Паркер, Бинг Кросби и другие.
