Паттерсон являлся очень техничным боксером и великолепно владел техникой защиты «peek-a-boo», которую впоследствии применял и Тайсон. Его коронным ударом был амплитудный хук слева, названный за хлесткую и стремительную манеру «ударом кенгуру». Учитывая технический уровень Паттерсона, можно утверждать, что причинами большей части проигранных боев в карьере Флойда явились относительно небольшой для его категории вес (около 86 кг) и сложности в психологической подготовке, связанные с его мягким характером.
В 1962 году Паттерсон уступил чемпионский титул Сонни Листону. Это был, пожалуй, один из самых сложных боев в его карьере, учитывая тот факт, что Листоном в то время можно было запугать даже самого смелого боксера-профессионала. Агрессия и ледяное спокойствие Листона было притчей во языцех, большинство просто панически боялись этого «стального» боксера «со взглядом палача». Надо отметить, что Мухаммед Али позже нашел возможность деморализовать Листона и исколотить его так, что последний отказался от продолжения боя.
С Мухаммедом Али Флойд Паттерсон встречался на ринге дважды — в 1968 и 1972 годах. Оба боя он проиграл — в первом случае техническим нокаутом в 12 раунде. После второго проигрыша Мухаммеду Али Паттерсон принял решение уйти с профессионального ринга. На тот момент ему было 37 лет.
В последние годы жизни Флойд Паттерсон страдал от болезни Альцгеймера, а также от рака простаты. Он умер в 2006 году в возрасте 71 года. Похоронен Паттерсон на кладбище New Paltz Cemetery в округе Ульсер штата Нью-Йорк.
