Он родился в семье чиновника Павла Алексеевича Ершова. Отец по делам, связанным со службой, часто переезжал. Ершовы пересекали цепь казачьих поселений, посещали места, где были ещё свежи предания о временах Ермака и Пугачёва. В 1824 году родители определили Петра и его брата Николая в Тобольскую гимназию, по окончанию которой братья поступили в Императорский Санкт-Петербургский университет.

В студенческие годы Ершов сблизился с профессором русской словесности Петром Плетневым, познакомился с Василием Жуковским и Александром Пушкиным. На их суд девятнадцатилетний студент отдал своё первое крупное произведение - сказку "Конёк-Горбунок", прочитав которую, Пушкин с похвалою сказал начинающему поэту: "Теперь этот род сочинений можно мне и оставить".

Ершову сказку "Конёк-Горбунок" принесла мировую известность. Примечательно, что первая часть сказки была представлена в качестве курсовой работы в университете и получила одобрение профессора словесности. Впервые сказка была напечатана отрывком в 3-м томе "Библиотеки для Чтения" в 1834 году, затем она вышла отдельной книжкой. При жизни Петра Павловича сказка "Конёк-Горбунок" выдержала семь изданий.

В 1836 году Петр Ершов вернулся в Тобольск по семейным обстоятельствам. Работал учителем, а с 1857-го - директором Тобольской гимназии. В числе его учеников был и будущий знаменитый ученый Дмитрий Иванович Менделеев. Был инициатором создания любительского гимназического театра. В театре занимался режиссурой. Написал для театра несколько пьес: "Сельский праздник", "Суворов и станционный смотритель", комическую оперу "Якутские божки", "Черепослов".

Ершов продолжал заниматься литературной работой, но все его произведения не смогли повторить успеха чудесного "Конька-Горбунка".

Умер Петр Павлович 18 (30) августа 1869 года в Тобольске. Похоронен на тобольском Завальном кладбище. Надпись на памятнике гласит: "Петр Павлович Ершов, автор народной сказки "Конек-Горбунок".