Джеймс Стюарт был вторым сыном Джеймса Стюарта, «Черного рыцаря Лорна» и Джоанны Бофор, вдовы короля Шотландии Якова I.
В 1470 г. за поддержку молодого короля Якова III, своего племянника, в свержении Бойдов, Джеймс получил графство Бьюкен (Бухан) и стал членом королевского совета, лордом великим камергером Шотландии и губернатором Средней марки.
В 1482 г. Джеймс Стюарт принял активное участие в Лодерском мятеже шотландских баронов против короля Якова III и поддержал приход к власти герцога Олбани. После реставрации короля граф Бьюкен был лишен всех постов в королевской администрации и удален из столицы. Вскоре, однако, Джеймс Стюарт примирился с королем и в 1487 г. возглавил шотландское посольство в Англию.
После гибели Якова III в 1488 г. граф Бьюкен стал одним из лидеров оппозиции новому королю Якову IV. В 1491 г. он организовал заговор с целью похищения короля и его передачи англичанам. Однако заговор провалился, а эффективная внутренняя политика Якова IV устранила почву для реальной оппозиции королю.
