Родился в семье крупного петербургского чиновника. Поскольку семья была состоятельной, молодой Щербов мог заниматься тем, чем ему хотелось. Учился в частной гимназии Видемана, после которой, в 1885 году, поступил в Академию художеств. В академии Щербов проучился всего два года. Однако связь со студентами академии, бывшими на заметке у полиции, не позволила ему получить разрешение и выехать за границу для продолжения образования.
После ухода из академии организовал на своей квартире кружок «Ревущий стан» — нечто вроде домашнего рисовального класса. Там же начал рисовать свои первые карикатуры, сначала на своих знакомых-художников.
Много путешествовал по всему миру — был на Кавказе, в Персии, Турции, Китае, Японии, Африке. В 1888 году вместе с другом, художником А. А. Чикиным совершил насыщеную приключениями поездку в Африку, где путешественники были первыми русскими, вставшими лагерем у самой крупной горы Африки — Килиманджаро. В путешествии Щербов собрал этнографическую коллекцию, которую передал в Русское географическое общество, за что был удостоен серебряной медали. После, из других поездок, художник также привозил фотографии и этнографический материал, который безвоздмездно передавал учёным.
Женился в 1896 году на Анастасии Давыдовне Дармостук (1877—1951) — дочери украинского священника, чем вызвал взрыв недовольства родственников. В качестве свадебного путешествия молодая семья совершила поездку в Японию — последнюю дальнюю поездку Щербова.
Впервые опубликовал свою работу в 1896 году в журнале «Шут» под псевдонимом «Old judge» (старый судья), с этого же года становится постоянным сотрудником журнала. После часто публикуется в юмористических журналах, в том числе в «Шуте», «Лукоморье», «Зрителе», участвует в выставках в Санкт-Петербурге, Москве, других городах. Основной темой его карикатур были люди, жизнь которых он хорошо знал — художники, художественные критики, меценаты. Его работы начинают пользоваться спросом — их покупают как частные коллекционеры, так и государственные учреждения.
Самой знаменитой карикатурой художника является «Базар XX века», на которой изображено более 100 портретов известных скульпторов, художников, коллекционеров, издателей и критиков Санкт-Петербурга. Все они изображены на базаре торгующими и показывающими свой товар, что образно передаёт состояние художественной жизни города в начале XX века. Картина была приобретена для Третьяковской галереи по совету известного художника В. А. Серова.
Начиная с 1901 года семья Щербовых переезжает в Гатчину, где художник и остаётся до конца своих дней. Сначала семья снимает дома и квартиры, переезжая с места на место, но в 1911 году Щербовы строят собственный дом на Ольгинской улице (ныне дом № 4 по улице Чехова), куда семья переезжает на постоянное жительство. Дом оригинальной архитектуры становится одной из достопримечательностей города, среди горожан он известен как Дом П. Е. Щербова. Частыми гостями в доме карикатуриста были М. Горький, А. И. Куприн, Ф. И. Шаляпин.
В 1911 году Щербов начинает работать в Гатчинском дворце как хранитель Арсенальной галереи, Китайской галереи и интерьеров Арсенального каре. Его работа во дворце продолжалась 10 лет.
Художник умер 7 января 1938 года и был похоронен на Гатчинском кладбище.
При жизни художника не было проведено ни одной его персональной выставки, хотя попытки их провести были в 1920 и в 1926 годах. Только после смерти художника, к 120-летию его рождения, в 1986 году, была проведена первая персональная выставка.
В 1992 году в гатчинском доме художника был организован литературно-мемориальный музей-усадьба П. Е. Щербова.
