Родился в селе Перово Московского уезда. В 1907—1913 гг. учился на историко-филологическом факультете Московского университета; не окончив его, перешёл в Лазаревский институт восточных языков. Как поэт дебютировал в 1905. Издал отдельной книжкой полный перевод «Цветов зла» Бодлера (1908). Вместе с Е. Курловым в 1910 основал в Москве издательство «Жатва» и одноимённый альманах, где печатались В. Брюсов, К. Бальмонт, Ю. Балтрушайтис, Г. Чулков, А. Ахматова, А. Куприн, а также собственные стихотворения и рецензии Альвинга (некоторые — под псевдонимом А. Бартенев). В 1920-х руководил литературным объединением «Кифара», пропагандировавшим творчество И. Анненского, в которое входили Е. Архиппов, Д. Усов и др. Тогда же опубликовал повесть «Наденька Артенева» (1928), исследование «Введение в стиховедение» (1931). В 1934 г. репрессирован, до 1936 г. пробыл в заключении в г. Свободный, центре администрации Бамлага. По возвращении руководил литературными кружками для детей и юношества. Учениками Альвинга считали себя Г. Сапгир, Л. Кропивницкий, И. Холин.
Отдельным изданием наследие Альвинга не публиковалось.
