Самым видным из перебежчиков стал граф Ангус, принадлежавший к более молодой ветви рода Дугласов. В то памятное время он объединился с королем, пойдя против своих сородичей, и даже стал героем такой поговорки: «Рыжий Дуглас (а среди Ангусов было много рыжеволосых) выгнал Черного».
Большая семья Гордонов тоже приняла сторону Якова, а глава этого рода, граф Хантли, собрал войско на севере и, двинувшись к югу, добрался до самого Брехина, чтобы поддержать короля. Здесь он встретился с Тигром, графом Кроуфордом, оставшимся с Дугласом, и это роковое обязательство стоило графу Уильяму жизни. Одним из предводителей армии Кроуфорда был Джон Колласс из Боннимуна (или Балнамуна). На его бесстрашных воинов, дравшихся короткими мечами и боевыми топорами, граф возлагал большие надежды. Но перед началом боя этот самый Джон Колласс попросил Кроуфорда пожаловать ему кое-какие земли, расположенные в удобных для него местах, неподалеку от дома, и получил от графа отказ. Обиженный Колласс нашел способ покинуть поле боя в разгар сражения, после чего воины Кроуфорда, чья победа была близка, утратили волю к победе и 19 мая 1452 года потерпели поражение.
И в других сражениях, прокатившихся по всей Шотландии, бились Дугласы и их сторонники с теми вельможами и дворянами, кто предпочел короля. Немало было пролито крови, и страшные бедствия претерпела страна. Среди прочих несчастий, которые принесли с собой эти гражданские войны, был и пожар, устроенный графом Хантли в Элгине. Граф спалил часть города, населенную сторонниками Дугласа, при этом не тронув ту сторону улицы, где жили горожане, принадлежавшие к его семье. Отсюда поговорка о незавершенной работе: «Полдела сделать, все равно что Элгин сжечь».
Хантли, однако, был потом застигнут врасплох и потерял значительную часть своих людей, завязнув в болотистой местности, которая называется Данкин-ти, где на него напал Дуглас, граф Мюррей. Это событие стало поводом для сочинения вот такой язвительной песенки:
В то смутное время голод и чума добавили горя стране, опустошенной гражданской войной, и едва ли в Шотландии остался хоть один уголок, где бы не случалось стычек, пожаров и убийств.
Сторонники короля в конце концов стали одерживать верх, поскольку нынешний граф Дуглас показал себя человеком не столь энергичным и решительным, как прочие представители его рода, носившие то же имя.
Граф Кроуфорд был среди тех, кто первым покинул Дугласа и сдался на милость короля. Явившись к Якову с униженным видом, в бедной одежде, с непокрытой головой и босой, словно осужденный преступник, он бросился перед ним на колени, признался в измене и умолял о прощении, поминая верность своих предков и искренность собственного раскаяния, Король, хоть и затаил зло на этого могущественного вельможу и поклялся не просто разрушить его замок Фенхейвен, а, чтобы от него камня на камне не осталось, простил его и посетил в Фенхейвене, где привел в исполнение свое обещание вот как: поднявшись к одной из самых высоких бойниц, он подобрал там небольшой камешек и бросил его в ров, вышло, что в замке стало одним камнем меньше, хотя он нисколько не пострадал. Милосердие короля успокоило мятежную знать и многие решились сдаться.
Все же могущество Дугласов осталось не сломленным, а было оно столь безгранично, что не позволяло надеяться, что противостояние завершится без кровопролитного сражения. И вот в 1454 году стало понятно, что событие это не за горами. Графы Оркнейский и Ангусский, сторонники короля, осадили Аберкорн, укрепленный замок графа Дугласа в устье Форта. Дуглас призвал всех своих родичей и соратников, и вместе они собрали войско, насчитывавшее около сорока тысяч воинов, во главе которого он и двинулся снимать осаду.
Король, собрав силы на севере Шотландии, отправился навстречу Дугласу с армией немного большей численности, чем войско графа, но уступавшей ей по части дисциплины. Итак, по всему выходило, что сражение состоится и его исход решит, кому носить шотландскую корону — Джеймсу Дугласу или Якову Стюарту. Речка Кэррон разделяла две армии.
Однако интриги архиепископа Сент-Эндрюсского сильно озадачили некоторых сторонников Дугласа — а среди них было немало тех, кто подчинился ему от страха, а не из преданности. Другие заметили, что графа покинула его обычная решимость. Среди последних был уже упоминавшийся ранее сэр Джеймс Гамильтон из Кэдью, командовавший в армии Дугласа тремя тысячами всадников и столькими же воинами, известными своей выучкой и храбростью. Архиепископ Кеннеди состоял в родстве с Гамильтоном, и потому, пользуясь случаем, отправил к нему тайком посланца с сообщением о том, что король готов простить ему предательство и осыпать его своими милостями при условии, что тот в критическую минуту подаст мятежникам пример, отказавшись от Дугласа и перейдя на его сторону. Эти доводы показались Гамильтону весомыми, но он, будучи старым другом и соратником графа Дугласа, счел весьма затруднительным для себя покинуть его в столь тяжелых обстоятельствах.
Наутро после тайного совета король отправил в лагерь Дугласа герольда с приказанием распустить войско сторонников, причем ослушавшиеся объявлялись предателями. Тем же, кто готов был покинуть мятежное знамя, король посулил прощение и награды. Дуглас высмеял эти призывы, построил своих воинов и под звуки труб, развернув знамена, уверенно двинулся навстречу королевской армии, готовый немедленно вступить в бой. Но, судя по всему, королевское послание все же озадачило воинов да и самого графа, засомневавшегося в их преданности. Он заметил, или ему показалось, что он заметил, растерянность в своих рядах, и повел армию назад в свой лагерь, надеясь внушить солдатам уверенность в победе.
Однако эти хождения туда-сюда возымели противоположное действие: как только Дуглас возвратился в свой шатер, сэр Джеймс Гамильтон пришел узнать, намерен ли он сражаться, уверяя, что любая отсрочка пойдет на пользу королю и чем дольше будет граф откладывать начало сражения, тем меньше у него останется солдат, которые захотят сражаться. Дуглас с презрением ответил, что «коли тот струсил и не хочет остаться, пускай отправляется домой». Поймав его на слове, Гамильтон покинул лагерь и той же ночью уехал к королю.
Его примеру последовали столькие, что, казалось, армия Дугласа в миг растаяла, словно снежок, и к утру в опустевшем, притихшем лагере едва ли набралась бы и сотня солдат, не считая приближенных графа. Дугласу пришлось бежать к восточной границе, где в местечке Аркинхольм в долине реки Эск 1 мая 1455 года его братья и сподвижники были разбиты наголову воинами Пограничья. Арчибальд Дуглас, граф Мюррей, один из братьев графа, погиб в бою, ему отрубили голову и отослали ее королю, а затем в Аберкорн. Еще один брат, Хью, граф Ормонд, был ранен, схвачен и тотчас же казнен, несмотря на его заслуги в сражении при Сарке. Джон, лорд Балвени, третий из братьев, сбежал в Англию, где нашел пристанище и сам граф. Вот так этот знаменитый и могущественный род, которому, казалось, оставался один шаг до владения короной, пал в одночасье, не дав решающего сражения. Преданность и отвага Славного лорда Джеймса послужили началом возвеличивания Дугласов, а мятеж и растерянность последнего графа покончили с ним.
Этот незадачливый вельможа жил почти двадцать лет изгнанником в Англии, и никто не вспоминал о нем на родине, пока при следующем короле он не угодил в плен, совершив в 1484 году набег на Шотландию и нарушив границу у Аннандейла. Сдался Дуглас брату Киркпатрика из Клозберна, который в лучшие дни был его вассалом и даже прослезился, когда увидел своего бывшего господина в столь жалком состоянии. Киркпатрик предложил освободить графа и бежать вместе с ним в Англию, но Дуглас ответил ему отказом. «Я устал от изгнания, — сказал он, — и коли король дает за мою голову награду, я бы предпочел, чтобы она досталась тебе, ведь ты всегда был предан мне, а я — лишь себе самому».
Столь благоприятный ход событий внезапно нарушила смерть архиепископа Кеннеди 10 мая 1466 года, после чего семья неких Бойдов на время обрела такое могущество, что казалось, оно становится угрозой общественному спокойствию. Наставником Якова III был Гилберт Кеннеди: умный и серьезный человек, он продолжал заниматься образованием короля после смерти своего брата, прелата, но необдуманно позвал себе в помощники сэра Александра, брата лорда Бойда, сочтя, что тот, будучи моложе, лучше справится с обучением Якова военному искусству. Это назначение так приблизило к королю сэра Александра, его брата лорда Бойда и двух его сыновей, что они решили вовсе отстранить Кеннеди от воспитания. Двор в то время располагался в Линлитгоу, и короля, который отправился поохотиться, уговорили скакать прямиком в Эдинбург и более не возвращаться. Наставник Кеннеди поспешил воспротивиться желанию короля, схватил его коня за уздечку и хотел отвезти назад в Линлитгоу. Александр Бойд, бросившись вперед, ударил старика, заслужившего куда как лучшего обращения, охотничьей дубинкой, заставил его отпустить поводья королевской лошади и отвез Якова в Эдинбург, добившись своего. Там он взял на себя управление делами, торжественно простил Бойдам все прегрешения и назначил их своими главными министрами и фаворитами. Сэр Томас, один из сыновей лорда Бойда, удостоился руки принцессы Маргариты, старшей сестры короля, и стал графом Арранским. Такую честь он заслужил и за свои личные достоинства, ибо соответствовал описанию, составленному одним английским джентльменом, который сказал о нем следующее: «Изысканно любезный, воспитанный, умный, добрый, щедрый и общительный граф Арран», а кроме того: «...изящный, ловкий, красноречивый мужчина, превосходный стрелок из лука, и ко всему — совершеннейший рыцарь, всецело преданный своей даме».