Начинал заниматься музыкой в Московской консерватории под руководством Антона Аренского, затем Сергея Танеева; в 1900—1904 гг. учился в Санкт-Петербургской консерватории в классе фортепиано Анны Есиповой. В 1907 г. получил определённую известность благодаря балету «Аленький цветочек», поставленному в Мариинском театре Николаем Легатом (спустя многие годы Сергей Маковский называет его в мемуарах «небезызвестным композитором балета „Аленький цветочек“»). Затем в течение ряда лет жил в Мюнхене, где совершенствовал профессиональное мастерство под руководством Феликса Мотля. Сблизившись с Василием Кандинским, написал музыку к задуманной им опере «Жёлтый звук» (нем. Der Gelbe Klang; 1912), опубликовал статью «Об анархии в музыке» (нем. ?ber die Anarchie in der Musik) в журнале «Синий всадник».
С началом Первой мировой войны вернулся в Россию, некоторое время служил офицером. После Октябрьской революции 1917 года перебрался в Тифлис, вёл класс композиции в Тифлисском музыкальном училище (среди его учеников, в частности, Тамара Вахвахишвили). В 1921 г. через Константинополь эмигрировал в Берлин, затем в Париж, где преподавал в Русской консерватории, возглавлявшейся Николаем Черепниным. Написал балет «Бабетта» (1935), четыре симфонии, фортепианный концерт (премьера в исполнении автора с оркестром Ламурё под управлением Эжена Биго), романсы (в том числе первые романсы на стихи Марины Цветаевой), работал над оперой «Эсфирь» (по Расину). По воспоминаниям Романа Гуля, музыку Гартмана ценили Фёдор Шаляпин и Сергей Рахманинов. В 1950 г. переехал в США.
Автор музыки для кинематографа, фильмы: Kriss (1932) США, L’or des mers (1932) Франция, «Встречи с замечательными людьми» реж. Питер Брук (1979) Англия, Франция.
Гартман известен как один из основных сподвижников Георгия Гурджиева. Он сотрудничал с Гурджиевым на протяжении 12 лет (1917—1929), сочиняя для него музыку, а позднее оставил воспоминания об этом, «Наша жизнь с Гурджиевым» (англ. Our Life with Mr. Gurdjieff), написанные совместно с женой.
