Отец — Владо, метеоролог; мать — Гордана, работает в сельском хозяйстве. Старшая сестра Анна ранее также играла в теннис. Жена — Алси (поженились 29 марта 2005).
Профессионально занимается теннисом с 2000 года.
Его рост 208 см, поэтому он самый высокий теннисист, который когда-либо входил в сто лучших теннисистов ATP рейтинга. Благодаря росту его сильнейшей стороной является подача.
Всемирную славу Карлович получил в 2003 году, когда на Уимблдоне он, будучи никому не известной 203-й ракеткой мира, сенсационно одолел действующего чемпиона и первого „сеянного” австралийца Ллейтона Хьюитта со счетом 1-6, 7-65, 6-3, 6-4. В третьем круге Иво уступил белорусу Максиму Мирному. В 2005 году Карлович на травяном турнире в Лондоне опять побеждает Хьюитта (на этот раз в четвертьфинале турнира), и впервые играет в финале турнира ATP, правда, уступив американцу Энди Роддику - 6-77, 6-74. В первом круге Уимблдона в 2005 году сделал 51 эйс в матче против Даниэле Браччиали. В итоге всё-таки проиграл, но смог повторить рекорд Йоахима Йоханссона по числу эйсов в одном матче.
На теннисном турнире в Сан-Хосе в 2007 году во второй раз в карьере дошёл до финального матча, но проиграл шотландцу Энди Маррею.
Свой первый ATP турнир выиграл в 2007 году в Хьюстоне на земляном покрытии, обыграв в финале аргентинского теннисиста Мариано Забалету.
Юбилейную сотую победу в ATP турнирах одержал в полуфинале турнира в Стокгольме.
Сделал 1318 эйсов в 2007 году, что стало вторым показателем в истории, после Горана Иванишевича, который подал 1477 эйсов в 1996 году.
24 мая 2009 года в первом круге Ролан Гаррос Карлович в матче против Ллейтона Хьюитта подал 55 эйсов и установил абсолютный рекорд АТП по количеству эйсов в 1 матче. Интересно, что и этот матч Иво уступил в 5 сетах. В том же 2009 году вышел в четверьфинал Уимблдона, где был выбит из сетки Роджером Федерером. 18 сентября 2009 года в домашнем полуфинальном матче Кубка Дэвиса против Радека Штепанека установил новый мировой рекорд по эйсам — 78. Несмотря на это, он вновь уступил в пяти сетах со счётом 7-65 6-75 6-76 7-62 14-16. Матч продолжался 5 часов 59 минут.. Рекорд продержался менее года и был побит на Уимблдоне-2010 Джоном Изнером и Николя Маю.
5 марта 2011 года в парном матче 1/8 финала Кубка Дэвиса против сборной Германии, в котором он вместе с Иваном Додигом уступил Кристоферу Касу и Филиппу Петцшнеру со счётом 3-6, 6-3, 7-5, 3-6, 4-6, Иво выполнил подачу со скоростью 251 км/ч, установив тем самым абсолютный мировой рекорд и побив рекорд Энди Роддика, подавшего со скоростью 249,4 км/ч в полуфинале Кубка Дэвиса 2004 года.
