Раздоры в высших правительственных сферах сделали невозможным проведение единой согласованной внешнеполитической программы. Вместо того, чтобы продолжать успешно начатое наступление против Ливонии, московское правительство, по настоянию Адашева, предоставило Ордену перемирие (с мая по ноябрь 1559 г.). Одновременно оно снарядило новую экспедицию против Крыма. Решено было напасть на Крым с двух сторон, со стороны Керчи и Перекопа. Для этой цели Москва направила на Дон князя Вишневецкого, а на Днепр окольничего А. Ф. Адашева. В распоряжении их было около 8 тысяч стрельцов и казаков. Поскольку выделенные силы никак не соответствовали поставленным целям, военные операции против Крыма не дали ожидаемых результатов. В течение лета 1559 г. вся русская армия простояла в полном бездействии на Оке, тщетно дожидаясь вторжения татар.
Военные операции против Крыма, поглотившие немало средств и сил, не принесли успехов, обёщанных Адашевым. Тем временем благоприятные возможности для победы в Ливонии были безвозвратно упущены. В августе 1559 г. магистр ордена Г. Кетлер подписал в Вильне союзный договор с литовцами, согласно которому Ливония пёрешла под протекторат Литвы и Польши. Король Сигизмунд обещал ливонцам немедленную военную помощь. Взамен Орден сделал значительные территориальные уступки в пользу Литвы. Виленское соглашение круто изменило ход Ливонской войны. Для русской дипломатии оно было тяжелым поражением. Теперь России противостояло не слабое, раздробленное Орденское государство, а мощное Литовско-Польское государство. Конфликт с Ливонией стал стремительно перерастать в более широкий вооруженный конфликт с Литвой и Польшей в тот самый момент, когда Россия всерьез ввязалась в войну с Крымским ханством.
Ливонские рыцари использовали перемирие, предоставленное им Москвой, для сбора военных сил. За месяц-до истечения срока перемирия орденские отряды появились в окрестностях Юрьева и обратили в бегство воеводу 3. И. Плещеева. 11 ноября 1559 г. магистр Кетлер нанес московским войскам второе поражение, разгромив близ Юрьева отряды 3. И. Плещеева и 3. И. Сабурова. Ливонцы осаждали Юрьев в течение всего ноября.
Первые известия о поражении в Ливонии застали царя в Можайске, на богомолье. Не медля ни одного дня, Иван приказал главному воеводе князю И. Ф. Мстиславскому спешно двигаться в Ливонию. Однако затянувшаяся осенняя распутица превратила дороги в непроходимое болото, и царская рать застряла в грязи на столбовой дороге из Москвы в Новгород. В то время, как армия выступила на север, стало известно о вторжении татар и разорении ими Каширского уезда.
Вести о новом поражении в Ливонии и осаде Юрьева вызвали панику в правительственных кругах. Адашев и Сильвестр настаивали на срочном возвращении царя в Москву. Несмотря на болезнь царицы, Иван рискнул отправиться в путь со всей семьей. Когда после утомительного переезда он прибыл в столицу, оказалось, что особых причин для спешки не было. Тогда-то и произошло резкое объяснение между царем и Сильвестром.
По мере того как влияние Адашева и Сильвестра шло на убыль, менялась и общая ориентация внешнеполитического курса. Когда в январе 1560 г. хан сделал мирные предложения Москве, царь ответил осторожным согласием.
Зимой того же года московская рать вышла на ливонскую границу и заняла замок Алыст (Мариенбург). Помня о поражениях под Юрьевом, царские воеводы не решились наступать в глубь Ливонии. Весною царь послал в Ливонию ближнего боярина князя А. М. Курбского, а спустя несколько месяцев в действующую армию выехал глава правительства А. Ф. Адашев.
Летом 1560 г. русская армия во главе с И. Ф. Мстиславским и А. Ф. Адашевым предприняла решительное наступление против ливонцев. В битве под Эрмесом воевода князь В. И. Барбашин-Суздальский наголову разгромил отборную рыцарскую армию. После трехнедельной осады русские заняли 21 августа одну из сильнейших ливонских крепостей Феллин, служившую резиденцией престарелого магистра Ордена В. Фюрстенберга. Победителям досталась почти вся артиллерия Ордена. Фюрстенберг пленником был увезен в Москву.
В связи с успехами летнего наступления возникла возможность быстрого завершения войны в Ливонии. Военные силы Ордена были сокрушены, по всей Эстонии крестьяне восстали против немецкого дворянства. Однако русское командование в Ливонии, во главе которого оказался тогда А. Ф. Адашев, не использовало благоприятной обстановки. По-видимому, оно опасалось удара со стороны литовских войск, сосредоточенных в районе Риги. Нападение гетмана Полубенского на армию Курбского под Венденом, казалось бы, оправдывало эти опасения. Верный своему прежнему курсу, А. Ф. Адашев старался предотвратить войну с Литвой и всячески противился расширению военных операций против ливонцев.
Между тем, царь проявлял крайнее раздражение медлительностью своих воевод. По его приказу армия князя И. Ф. Мстиславского предприняла осенью 1560 г. третье наступление в Ливонию. Воеводы двинулись к Ревелю и по пути осадили небольшой замок Пайду (Вейсенштейн). Осада была неудачной, и 18 октября русские отступили в Юрьев.
На протяжении одного только года русская армия трижды вторгалась в пределы Ливонии, но достигнутые при этом успехи никак не соответствовали затраченным силам и средствам. Россия не могла окончательно разгромить ливонцев, пока в их руках оставались главные опорные крепости Ревель и Рига. Причиной неудачи наступления в Ливонии царь считал чрезмерную осторожность и нерешительность своих воевод. Поскольку летом 1560 г. всеми действиями войск в Ливонии фактически руководил А. Ф. Адашев, то на него и обрушился царский гнев. 30 августа Иван Васильевич объявил об отставке Адашева. Правительство Избранной рады пало.
* * *
После трудного переезда из Можайска в Москву болезнь царицы Анастасии усилилась, и в начале августа 1560 г. она умерла. Братья царицы бояре Захарьины использовали этот момент, чтобы скомпрометировать своих политических противников. Они всеми силами внушали Ивану, будто ненавидевшие царицу Сильвестр и Адашев "лукавым умышленьем" помешали можайскому богомолью и тем самым содействовали ее гибели. Интриги Захарьиных ускорили падение Избранной рады.
Сильвестр пустил в ход все свое влияние, стремясь предотвратить отставку Адашева. Но все его попытки кончились неудачей. Ко времени смерти царицы в Москве не оказалось никого из наиболее авторитетных руководителей думы и ближних бояр, которые могли бы выступить на стороне опальных правителей. Сознавая безвыходность положения, Сильвестр объявил царю о том, что намерен уйти на покой в монастырь. Иван не стал удерживать своего старого наставника и отпустил его "благословне" на Белоозеро в Кириллов монастырь.