И. И. Жегалкин в 1889 году, окончив Орловскую гимназию, стал студентом математического отделения физико-математического факультета Московского университета. В 1893 году он окончил университет с дипломом 1-й степени и начал службу сразу в нескольких учреждениях: в Государственном банке и на вечерних курсах Общества распространения коммерческого образования. С 1900 года преподавал в реальном училище К. К. Мазинга. В 1902 году, выдержав магистерский экзамен, стал приват-доцентом университета; защита магистерской диссертации «Трансфинитные числа» состоялась только в 1908 году.
В 1911 году Жегалкин, будучи несогласным с политикой, проводимой Л. А. Кассо, бывшим тогда министром просвещения, ушёл с большой группой преподавателй из университета. До возвращения в университет в 1917 году, Жегалкин преподавал на Высших женских курсах. Здесь он, после открытия в 1906 году медицинского факультета, временно исполнял дожность декана факультета. Будучи членом Московского математического общества заведовал в нём библиотекой.
После возвращения в университет И. И. Жегалкин стал в 1923 году профессором математики, а в 1930 году назначен заведующим кафедрой математического анализа физико-механического факультета, преобразованного через 3 года в механико-математический факультет. Одновременно он заведовал кафедрой математики в Московском областном педагогическом институте.
По инициативе И. И. Жегалкина была создана группа математической логики, ставшая основой для образования в 1959 году кафедры математической логики, возглавленной Софьей Яновской. Жегалкин представил алгебру логики как арифметику вычетов по модулю 2. Также ему принадлежит ряд работ о важных случаях, допускающих алгоритмическое решение проблемы разрешимости. Жегалкин награждён Орденом Трудового Красного Знамени. В своём письме М. Я. Выгодскому известный советский математик Николай Лузин, вспоминая студенческие годы, говорит, что из профессоров не боялся лишь Жегалкина.
