Закончил Морской кадетский корпус (1836), служил на Балтийском флоте, совершил кругосветное плавание, позже занял в Москве пост управляющего Межевой канцелярией.
Война 1854—1855 привлекла Зеленого в Севастополь, который он со своим полком оставил последним.
Позже был командиром Тобольского полка.
По приглашению M. H. Муравьева, узнавшего Зеленого во время службы по межевой части, Зеленой занял пост товарища министра государственных имуществ, а в 1862 был поставлен во главе этого министерства. В управлении министерством его сменил в 1872 П. А. Валуев.
