Василий Ярославович объединил в своих руках почти весь удел своего деда Владимира Андреевича Храброго. Василий Ярославич стал в 1433 году шурином великого князя Московского Василия II Васильевича, когда последний женился на сестре Василия Ярославовича, Марии Ярославне. В это же время между ними был заключен договор и в соответствии с договоренностью, Василий Ярославович всегда был на стороне великого князя Московского и оставался верным договору, даже в трудные периоды его жизни Василий Ярославич всегда оставался его верным союзником.
Не один раз он участвовал в крупных сражениях русских с татарами и военных операциях против Литвы. Участвовал в сражении 7 июля 1445 года в окрестностя Суздаля под Евфимьевым монастырем, когда Василий II с объединенными русскими войсками потерпел поражение от казанского войска под командованием царевичей Махмуда и Якуба (сыновей хана Улу-Мухаммеда), в результате сам Василий II и его двоюродный брат Михаил Верейский были взяты в плен, а Василий Ярославич был ранен, но успел спастись с небольшим числом ратников.
После смещения Василия II и прихода к власти Дмитрия Шемяки, он не пошел с ним на контакт, а предпочел уйти в Литву, где получил от короля Польского и великого князя Литовского Казимира IV Брянск, Стародуб, Гомель и Мстиславль. Брянск Василий уступил приближённым свергнутого московского государя также изгнанникам Семёну Оболенскому и Фёдору Басенку, а остальные города оставил за собой.
Василий Ярославич объединил и возглавил в своей новой вотчине коалицию сил, которые поставили себе цель освободить захваченного Василия II и восстановить его великокняжеском престоле в Московском княжестве. Выступление войск под началом Василия Ярославича из Литвы в 1446 году предопределило быстрое падение владычества Дмитрия Шемяки. Он пришел на помощь к Василию Темному, участвовал в борьбе с Дмитрием Шемякой, способствовал примирению противников в 1447 г. и вновь помогал великому князю в на новом этапе борьбы с Дмитрием Шемякой походом на Устюг в 1452 г.
Договорной грамотой 1447 г. великий князь Василий Васильевич Темный утвердил за Василием Ярославичем Боровск, Серпухов, Лужу, Хатунь, Радонеж, Перемышль и дал ему суходол с Красным Селом, а также город Дмитров «со всеми волостями», взамен части владений его деда (куда входили такие крупные города как Углич, Городец, Козельск). Василий Ярославич получил Дмитров в знак благодарности за поддержку Василия Темного в борьбе с Юрьевичами. В грамоте оговаривалось право великого князя Василия Васильевича вернуть себе удел, что и произошло позже (осенью 1453 г. по договорной грамоте серпуховско-боровской князь Василий Ярославич был лишен Дмитрова, город и удел возвращены Москве). Дмитров был сменен на Звенигород и Бежецкий Верх, которые также вскоре пришлось уступить московскому великому князю.
В 1449 году Василий Ярославович оставил владения в Литве и возвратился в восстановленный Серпуховско-Боровский удел. Однако Василий II Васильевич недолго помнил былые заслуги и верность Василия Ярославича. Обеспокоенный его возрастающим авторитетом и активной поддержкой литовской стороны в июле 1456 г. за «некую крамолу» Василий Ярославович, князь Серпуховско-Боровский, бывший владелец Дмитровского удела, видный союзник великого князя в феодальной войне и борьбе за великокняжеский престол, был схвачен в Москве и сослан в Углич в пожизненную ссылку. Жена и сын князя скрылись в Литве.
В 1462 году, когда был открыт заговор серпуховских бояр и детей боярских, собиравшихся высвободить своего князя из неволи и бежать с ним, Василий Ярославович был переведен в Вологду, где провел последние годы жизни и скончался «в железех», уже при сыне Василия Темного Иване III в 1483 году. Похоронен в Архангельском соборе Московского Кремля.
Был женат дважды. Первая супруга - Мария Ивановна, вторая - литовская княжна. Имел трёх сыновей: Ивана, Андрея и Василия (похоронены в Богоявленском монастыре г. Кострома).
