В детстве Андерс играл на пианино, но в возрасте 14 лет он переключился на игру на барабанах. С 1979 по 1982 годы он обучался в школе электронного инжиниринга.
В 1984 году он переехал в США, чтобы присоединиться к своему брату Йенсу в группе Ингви Мальмстина. Андерс участвовал в записи пяти альбомов группы и в пяти концертных турах. После этого он стал работать как студийный и концертный сессионный музыкант, и занимается этим и поныне. В 1997 году Андерс принял участие в проекте Sundown, исполнив гитарные партии на альбоме Design 19. Он записывался и гастролировал со многими группами, а также записал альбомы — как свой сольный, так и вместе с Йенсом. Братья вместе занимаются менеджментом собственного лейбла Heptagon Records.
Андерс впервые вошёл в состав HammerFall в концертном туре «Legacy» в 1999 году, сперва как сессионный барабанщик, позже — как постоянный участник.
Андерс также был приглашён в качестве барабанщика для записи альбома The Great Fall группы Narnia. Андерс наиболее известен своим участием в группе Мальмстина, несмотря на своё нынешнее участие в HammerFall. За своё мастерство как в металлической музыке, так и в других жанрах Андерс Юханссон был неоднократно награждён музыкальными премиями.
