Родился 21 июля 1844 г. в семье полковника Ивана Ивановича Ершова (1806—1864) и Варвары Сергеевны урождённой княжны Вяземской. Образование получил на юридическом факультете Берлинского университета, по окончании которого 3 июня 1866 года зачислен унтер-офицером в лейб-гвардии Гусарский полк и 25 июня следующего года произведён в корнеты, 1 7апреля 1870 года получил чин поручика. В 1871 году назначен полковым казначеем и полковым квартирмейстером, 16 апреля 1872 года был произведён в штабс-капитаны и награждён орденом св. Анны 3-й степени, в 1874 году временно исправлял должность полковго адъютанта. Произведённый 19 февраля в ротмистры Ершов командовал эскадроном Его Величества, 6 ноября 1876 года назначен флигель-адъютантом и награждён орденом св. Станислава 2-й степени. 27 марта 1877 года получил чин полковника.
Во время русско-турецкой войны 1877—1878 гг. находился в составе западного отряда и за отличие в сражении под Телишем в октябре 1877 г. награждён орденом св. Владимира 4-й степени с мечами и бантом; за переход через Балканы в декабре был пожалован орденом св. Анны 2-й степени с мечами.
В 1879 году Ершов был утверждён в должности командира 1-го дивизиона лейб-гвардии Гусарского полка. 5 мая 1881 года был назначен командиром 2-го гусарского Павлоградского полка, которым командовал до 9 ноября 1882 года.
С 30 августа 1887 годы находился в отставке. В отставке занял пост предводителя дворянства Подольского уезда Московской губернии, также с 1885 года был почётным мировым судьёй Подольского морового округа. В 1886 году награждён орденом св. Владимира 3-й степени, в 1887 году произведён в генерал-майоры (со старшинством от 21 января 1892 года) и в начале 1890 года избран Московским губернским предводителем дворянства. В 1891 году получил орден св. Станислава 1-й степени.
21 января 1892 года Ершов вернулся на службу и был назначен Оренбургским губернатором и наказным атаманом Оренбургского казачьего войска. За неустанные заботы по благоустройству губернии Ершов был награждён в 1895 году орденом св. Анны 1-й степени. Одним из крупнейших деяний Ершова на посту губернатора и наказного атамана было проведение в Оренбургской губернии Всероссийской переписи населения: из всех собранных здесь трёхсот с лишним тысяч переписных листов Центральный статистический комитет забраковал только тридцать два. По подведении итогов переписи в 1898 году Ершову была объявлена высочайшая благодарность, а в мае 1899 года его отметили орденом св. Владимира 2-й степени.
Скончался 4 августа 1899 года в Берлине, где находился на лечении, похоронен в Москве на кладбище Донского монастыря.
В. И. Ершов был женат на дочери шталмейстера М. И. Леонтьева Елене Михайловне и имел детей: Александра, Марию, Елизавету, Ивана. Сыновья учились в Пажеском корпусе.
