Происходил из бедной дворянской семьи, родился в 1749 г. в деревне Панихино, Ново-Ладожского уезда Санкт-Петербургской губернии (ныне Киришский район Ленинградской области).
В 1760 г. поступил в Морской кадетский корпус, в июле 1762 г. был произведён в гардемарины и в этом же году совершил первое плавание от Кронштадта до Кольберга и обратно. В 1766 г. он был произведён в мичманы и определён на службу в Балтийский флот, а в 1769 г. был переведён в Таганрог.
В мае 1772 г. получил чин лейтенанта и по время первой Турецкой войны был на разных судах ежегодно в крейсерстве на Чёрном море, причём в 1774 г. командовал отдельной флотилией в Еникале. В 1775 г., по заключении Кючук-Кайнарджийского мира, Пустошкин, в качестве командира галиота «Буйвол» занимался описанием берегов Днепра и Южного Буга, затем был послан с поручением высшего начальства в Константинополь, а в следующем году был назначен командиром фрегата «Почтальон».
В мае 1777 г. произведённый в капитан-лейтенанты, Пустошкин в том же году сопровождал из Тамани в Еникале крымского хана Шагин-Гирея. В 1779 году командовал кораблём «Корон», а с 1780 по 1782 год находился в Балтийском флоте.
Получив 21 апреля 1783 г. чин капитана 2-го ранга, Пустошкин в этом же году, в качестве флаг-капитана у вице-адмирала Ф. А. Клокачёва, на фрегате «Победа» был в плавании от Таганрога до Севастополя, после чего на боте «Битюг» делал промеры и опись берегов Днестровского лимана; затем командовал кораблем «Моджа». В 1784—1787 годах командовал Гниловской верфью в Таганроге. 1 января 1787 г. Пустошкин был произведён в капитаны 1-го ранга, а вскоре за тем был назначен командиром Таганрогского порта.
В силу начавшейся новой войны с турками, на него была возложена обязанность построить в Таганроге два 40-пушечных фрегата и приготовить к походу 23 вооруженных судна. За успешное выполнение этого поручения он был награждён, 2 февраля 1789 года, орденом св. Владимира 4-й степени, а 14 апреля того же года, за отличие по службе, произведён в капитаны бригадирского ранга. В том же году, командуя отдельной эскадрой, Пустошкин крейсировал около Крымского полуострова, а в следующем году — у устья Дуная. В следующем году он получил от князя Потёмкина орден св. Владимира 3-й степени и 16 сентября был произведён в капитаны генерал-майорского ранга.
В следующем, 1791 г. он командовал арьергардом эскадры, бывшей под начальством контр-адмирала Ушакова, и участвовал в сражении при Калиакрии. За выказанную им в этом сражении храбрость он 11 сентября 1792 г. при особой Высочайшей грамоте был награждён орденом св. Георгия 3-го класса (№ 100 по кавалерскому списку Григоровича—Степанова)
В этом же году Пустошкин командовал Черноморским гребным флотом и флотилией черноморских казаков, а 22 сентября 1793 года был произведён в контр-адмиралы. В 1794 году командовал эскадрой на Севастопольском рейде, с 1795 года — Николаевским портом и состоял членом Черноморского адмиралтейского правления. 10 января 1797 Пустошкин был назначен Градоначальником Одессы, в должности этой пробыв до конца года.
