Из еврейской семьи, сын врача. Изучал право в своём родном городе, одновременно беря уроки музыкальной композиции у Даниэля Готлоба Тюрка. С 1821 года — в Берлине. В 1825 году Адольф Мартин Шлезингер назначил Маркса редактором новоучреждённой «Берлинской всеобщей музыкальной газеты» (нем. Berliner allgemeine musikalische Zeitung); интеллектуально заострённые критические статьи Маркса, зачастую направленные против берлинского музыкального истеблишмента во главе с Карлом Фридрихом Цельтером, вызывали одобрение Бетховена.
В 1820-30-е годы Маркс был весьма близок с Феликсом Мендельсоном и оказал на него существенное влияние — в частности, то, что переработка Мендельсоном увертюры «Сон в летнюю ночь» (1826) произведена под воздействием идей Маркса, отмечалось в мемуарах Эдуардом Девриентом. В 1829 году Маркс убедил Шлезингера опубликовать «Страсти по Матфею» Иоганна Себастьяна Баха, только что заново открытые Мендельсоном, а в 1830 году Мендельсон рекомендовал Маркса на новоучреждённый пост профессора музыки в Берлинском университете. Маркс и Мендельсон условились даже обменяться либретто — с тем, чтобы каждый написал по оратории на текст другого; однако Мендельсон внёс значительные изменения в созданный Марксом текст оратории «Павел» (1836), а на просьбу Маркса исполнить его ораторию «Моисей» с текстом самого Мендельсона ответил отказом, заявив, что качество музыки неудовлетворительно. Взбешённый Маркс после этого уничтожил все хранившиеся у него письма Мендельсона (а его оратория «Моисей» была исполнена лишь в 1853 году Ференцем Листом).
Начиная с 1840-х годов Маркс работал прежде всего как педагог и теоретик. В 1850 году вместе с Теодором Куллаком и Юлиусом Штерном он основал так называемую Консерваторию Штерна. Четыре тома фундаментального «Учебника музыкальной композиции» (нем. Die Lehre von der musikalischen Komposition) увидели свет с 1837 по 1847 год. Маркс написал также монографию о Бетховене (нем. Ludwig van Beethoven: Leben und Schaffen; 1859) и книгу воспоминаний (нем. Erinnerungen aus meinem Leben; 1865).
