Алексей Шеин происходил из старого боярского рода. Его прадед Михаил Борисович Шеин командовал русскими войсками во время Смоленской войны 1632—1634 годов. Русские войска потерпели поражение. Михаил Шеин был обвинён в измене и казнён, а его семья сослана в Симбирскую губернию.
Будучи мальчиком, Алексей Шеин присутствовал при казни Степана Разина, 6 июня 1671 года. Позже в своей жизни он присутствовал при коронации Петра I и Ивана V (в 1682 году).
Царевна Софья Алексеевна в 1682 году пожаловала Алексею Шеину титул боярина.
В 1680—1681 годах Алексей Шеин был воеводой в Тобольске и в 1683—1684 годах в Курске. Боярин с 25 марта 1682 года, ближний боярин с 1695 года. Алексей Шеин принимал участие в Крымских походах 1687 и 1689 годах и в Азовских походах 1695—1696 годов. Во время первого, неудачного Азовского похода, Алексей Шеин командовал Преображенским и Семёновским полками. Во время второго Азовского похода, в 1696 году, Алексей Шеин был Командующим сухопутными войсками. 28 июня 1696 года за военные успехи во втором Азовском походе, Пётр I присвоил Шеину звание Генералиссимуса и наградил золотым кубком, который весил 6-7 фунтов . Шеин стал первым Генералиссимусом России. Позже, Пётр I назначил Шеина Главнокомандующим Русской армии, командующим артиллерией, конницей и главой (судьей) Иноземского приказа. В 1697 году Шеин служил в Азове, руководил строительством морской гавани в Таганроге. Ему приходилось постоянно отражать набеги турок и татар.
В 1698 году Шеин участвовал в подавлении стрелецкого бунта. Позже, Шеин попал в немилость Петра I за то, что не разоблачил связь стрельцов с царевной Софией. Когда Пётр I начал стричь боярские бороды, первым он состриг бороду Алексею Шеину.
По другой версии, немилость Петра была только временной ссорой из-за того, что Шеин слишком мягко наказал бунтарей-стрельцов. И что Пётр состриг бороду Шеину с его согласия. Незадолго до своей смерти Пётр хотел даже установить памятник Алексею Шеину в Александро-Невской лавре.
