В 1939 году поступил в Одесское художественное училище на живописно-педагогическое отделение, которое смог закончить лишь в июле 1951 года из-за войны и ранений. Воевал в Новгороде. Под впечатлением древней новгородской архитектуры в дальнейшем вернулся в Новгород и обосновался в нём. С 1964 года — член Союза художников СССР, с 1971 года — член Художественного фонда СССР. В 1967 году в Одессе прошла первая персональная выставка Пустовойтова «Древний Новгород». В этом же году он участвовал в реставрации Успенского собора Троице-Сергиевой Лавры, за что был награждён медалью. Произведения художника имеются в коллекциях Новгородский государственный музей-заповедник, музеев Одессы и Санкт-Петербурга.
Наибольшую известность принёс Пустовойтову цикл акварелей «Великий Новгород», созданный в 1970—1980-е годы. Цикл состоит более чем из 500 листов акварелей, большая часть которых хранится в Новгородском музее-заповеднике. Некоторые из этих работ приобрели не только художественное, но и историческое значение, поскольку часть храмов была разрушена. Творчество С. И. Пустовойтова помогло открыть значение древней новгородской архитектуры широкому кругу зрителей, став важной частью культурного наследия Новгорода.
18 января 1994 года Пустовойтову Семёну Ивановичу «за большой личный вклад в культурно-историческое наследие Новгорода» было присвоено звание «Почётный гражданин Новгорода»
