Восемнадцатилетним юношей ушел на фронт, был солдатом. Писал заметки в дивизионную многотиражку «Отвага», куда его вскоре направили на работу. После войны работал в многотиражных газетах «Жилищный работник» и «Коммунальный работник», одновременно публиковался в городских газетах. В 1951 году заочно окончил Московский полиграфический институт. Три года работал в «Вечерней Москве», а затем 33 года вел отдел социально-бытовых проблем в «Литературной газете». Был постоянным автором журнала «Журналист».
Член Союза журналистов, Союза писателей, автор трёх десятков книг.
Анатолий Рубинов — основатель Общества потребителей России, основатель «Телефона доверия». В частности, благодаря его усилиям все продукты в стране маркируются — указываются даты изготовления, срок годности и состав. Выступал в поддержку перехода СССР на летнее и зимнее время (такой переход стал ежегодным начиная с 1981 года).
Четырежды лауреат премии «Литературной газеты», дважды лауреат премии журнала «Огонёк», лауреат премий Союза журналистов СССР, Конкурса репортеров, Конкурса Союза журналистов Москвы, обладатель премии Международного конкурса юмора и сатиры имени Алеко. За свою работу в печати Анатолий Рубинов был награждён двумя орденами «Знак почета».
В последние годы писал новую книгу «Ю», также готовил к печати второй том нашумевшей в 90-е годы книги «Интимная жизнь Москвы».
В марте 2008 перенёс инфаркт, почти месяц пролежал в больнице. Скончался вечером 9 мая 2009 года на 86-м году жизни. Похоронен 13 мая.
Сочинения
- Такова еврейская жизнь — М.,2007 г.
- Такси! Такси! — М., 1975 г.
- Со служебного входа — М.: Моск. рабочий, 1980 г.
- Семья, одиночество, любовь... — М.: Сов. Россия, 1986 г.
- Самый лучший Страдивари — М., 1995 г.
- Веселые похоронные истории — М., 2005 г.
- Друзья повсюду. — М., 1959 г.
- Moskau intim — Berlin,1994 г.
- Слёзы льда — 1994 г.
- Я знаю все! — М., 1965 г.
- Мы жили так… Необычайные приключения россиян при социализме и после — М., 2009 г.
- Частная жизнь журналиста. — М.: Экономика, 1994 г.
- Откровенный разговор в середине недели. Очерки. — М.: Сов. писатель, 1990 г.
- За окном — М., 1986 г.
- Интимная жизнь Москвы. — М., 1991 г.
- Отчего горожанину некогда — М., 1975 г.
- Кардиограмма очереди. — М.: Моск. рабочий, 1988 г.
- История трех московских магазинов — М.,2007 г.
- «Операции» без секретов. – М.: Мысль, 1980 г.
- Лестница престижа — М., 1978 г.
- Секреты журналистики (совм. с Вячеславом Басковым) — М., 2008 г.
- Сандуны. — М., 1990 г.
- Если бы директором был я (на восьми языках) — М., 1983 г.
- История бани. — М., 2006 г.
