Получил среднее химико-технологическое образование, позднее окончил вечернее отделение университета экономических наук им. Карла Маркса (1968) и партийную школу. Работал в фармацевтической промышленности, затем в венгерском комсомоле, а с 1975 — на различных должностях в международном отделе ВСРП.
В 1986—1989 Ковач был заместителем министра иностранных дел ВНР. В 1990 Ковач вошёл в президиум ВСП — переименованной ВСРП. В 1994 году, после прихода ВСП к власти, стал министром иностранных дел (кабинет Дьюлы Хорна). В 1995 был также председателем ОБСЕ.
После перехода социалистов в оппозицию, Ковач в 1998 был избран главной ВСП, а также до 2000 года возглавлял фракцию партии в парламенте Венгрии. После прихода социалистов к власти в 2002 году повторно стал министром иностранных дел Венгрии в кабинетах Петера Медьеши и Ференца Дьюрчаня. Ковач ушёл с постов министра и председателя партии осенью 2004, чтобы занять пост европейского комиссара по делам налогообложения и таможни. Первоначально Ковач был выдвинут на пост министра по делам энергетики, но после того, как обнаружилось его слабое знакомство со своей будущей должностью, ему был предложен новый пост. Во второй комиссии Баррозу, сформированной 9 февраля 2010 года, на месте представителя Венгрии его сменил Ласло Андор, а его место еврокомиссара досталось Альгирдасу Шемете.
В 2003—2008 также был вице-президентом Социнтерна.
Женат, есть одна дочь.
