Изучал классическую филологию, современные языки и археологию в Лейпциге, Гёттингене и Гейдельберге. С 1882 г. работал преподавателем. По рекомендации Т. Моммзена получил грант на археологическое путешествие, и вместе с Моммзеном осуществил в 1886—1887 гг. поездку по археологическим памятникам Греции и Малой Азии, участвовал в раскопках Пергама, обнаружил развалины античного Колофона.
В 1888 г. назначен директором Кестнеровского музея в своём родном городе Ганновере. На этой должности опубликовал ряд археологических исследований. В 1908 г. назначен директором археологического департамента Этнологического музея в Берлине, и занимал эту должность до своего ухода на пенсию в 1925 г. Осуществил ряд раскопок доисторической эпохи в окрестностях Потсдама, а также на Арконе. В 1926 г. выпустил работу посвященную трём самым знаменитым славянским крепостям Германии Арконе, Ретре и Винете (Юлин, Волин, Йомсбург).
В 1909 г. основал журнал Pr?historische Zeitschrift («Доисторический журнал»). В последующие годы был вовлечён в долгую дискуссию с другим ведущим немецким археологом, Г. Коссинной, по вопросу, допустимо ли интерпретировать археологические культуры как этносы. Одним из предметов дискуссии была интерпретация найденного в 1913 году Эберсвальдского клада. В археологии периода нацистской Германии получили распространение взгляды Шухардта.
В послевоенный период, в связи с ростом критического отношения к наследию его оппонента Коссинны, взгляды Шухардта оказали большое влияние на западногерманскую археологию. Его сын — известный археолог Вальтер Хервиг Шухардт.
