В 1886—1907 гг. Руппин жил в немецком городе Магдебурге, где в 2001 одна из улиц была названа в его честь. Он обучался в гимназии кайзера Вильгельма, но был вынужден перейти на заочное обучение из-за нехватки средств. В 1896 Руппин закончил гимназию и начал учиться экономике и праву в Берлине и Галле. Возглавляв в 1902—1907 гг. Берлинское бюро еврейской статистики и демографии, Руппин заслужил звание «отца еврейской социологии». В этот же период он работал в Магдебургском окружном суде. В 1903 Руппин стал лауреатом премии Геккеля за работу «Дарвинизм и социалогия». В 1904 он опубликовал книгу «Евреи нашего времени» (нем. Die Juden der Gegenwart), в которой заложил основы описательной социологии евреев.
С 1905 Руппин вступил во Всемирную сионистскую организацию, а в 1907 был отправлен ей в Ишув — заселённый евреями регион Эрец-Исраэль, бывший тогда провинцией Османской империи. Миссией Руппина было планирование промышленного и сельскохозяйственного обустройства этого региона. С 1908 Руппин решением восьмого Сионистского конгресса ВСО был направлен на постоянное проживание в Палестине. Он открыл в Яффо Эрец-Исраэльское бюро — отделение сионистской организации, имевшей целью руководство еврейским заселением Палестины: приобретение земель, содействие существующим поселениям и основание новых, поддержка образовательных и культурных учреждений. Работа Руппина имела руководящее значение для второй алии; он был основным агентом, приобретавшим палестинские земли для еврейских поселений на г. Кармель, в Изреэльской долине, в Галилее и Иерусалиме (в том числе для гг. Афула и Ахузат-Баит, позже ставшего частью Тель-Авива). Как исследователь новых форм социальной организации, Руппин поддерживал кибуцное движение и участвовал в создании первого кибуца в Эрец-Исраэль (Дгания, 1910), где и был впоследствии похоронен.
Руппин был одним из основателей в 1925 движения Брит-Шалом (ивр. ???? ?????, букв. «мирный договор»), ратовавшего за создание в Палестине двунационального государства; однако после беспорядков, устроенных арабами в 1929 г. в Хевроне, Руппин вышел из Брит-Шалом. С тех пор он был сторонником создания независимого еврейского государства, и считал путём к его созданию непрерывное заселение евреями новых земель. В 1933—1935 гг. Руппин возглавлял Еврейское агентство и одновременно возглавлял в нём отдел, ответственный за репатриацию немецких евреев. В ходе своей деятельности на этом посту посетил нацисткую Германию по приглашению профессора Ганса Гюнтера, ведущего идеолога рассового учения.
В 1926 Руппин основал социологический факультет в Еврейском университете в Иерусалиме. Самым знаменитым его трудом по социологии стал «Евреи в современном мире» (1934). В Хайфе учреждена премия имени Руппина, присуждаемая за достижения в научной и политической деятельности. В честь Руппина названы кибуц Кфар-Руппин (1938) в долине Бейт-Шеан, сельскохозяйственная школа в долине Хефер, а также ботанический сад в Дгании-Алеф.
