Пытаясь установить единоличную власть в регионе, выдвинул на место архиепископа Оша кандидатуру своего человека, но был выбран Жеро де ла Барт. Несмотря на то, что новый архиепископ был его шурином, Бернар IV объявил ему настоящую войну. На протяжении двух лет войска графа разрушали и жгли церкви, осаждали монастыри, громили дома членов коллегии каноников, избиравших архиепископа, разрушили епископский дворец и захватили замок Жеро де ла Барта – Ламагер, из которого тому чудом удалось бежать. С большим трудом их общим друзьям и родственникам удалось их помирить.
В 1188 г. он удалился от дел, передав управление обоими графствами сыну, Жеро IV.
В 1150 г. он женился на Этьенетте де ла Барт, но лишь через двадцать лет, в 1170 г., у них появился сын, будущий Жеро IV. Еще до этого, не надеясь обрести потомство, Бернар IV объявил своим наследником своего племянника Бернара д'Арманьяка (1155 † 1202). В 1182 или 1184 г. он выделил ему из графства Фезансак виконтство Фезансаге.
Несмотря на чрезвычайную запутанность в потомках дома д'Арманьяк в это время, можно предположить, что у Бернара IV, кроме сына, была еще дочь, Мари, которая постриглась в монастыре Сен-Мари-де-Каризо, а после, если верить отцу Ансельму, со ссылкой на Ойенара, стала учредительницей и аббатисой Нотр-Дам де Шерзи в Бургундии, где почиталась как святая.
Считается, что именно Бернар IV первым принял герб, сопровождавший дом д’Арманьяков на протяжении всего его существования: ”на серебре червленый лев”.
