Еще до окончания работы комиссии стало очевидным, что новым шефом НКВД будет Берия. 7 ноября во время военного парада и демонстрации на Красной площади рядом со Сталиным и другими руководителями на трибуне мавзолея Ленина сначала появился Ежов, но затем его сменил Берия, на голове которого красовалась светло-синяя фуражка с краповым околышем, - другими словами, он был в форме комиссара госбезопасности 1 ранга, то есть в очень высоком звании - на одну ступень ниже звания самого Ежова. Западные корреспонденты, которые до этого терялись в догадках - на какую работу в Москву был переведен из Тбилиси Берия, пришли к заключению, что теперь на посту главы НКВД именно он сменит Ежова. д в партийно-чекистской среде циркулировали также имена других возможных претендентов. По сведениям сыновей Маленкова, Чкалова и Микояна, Сталин также предлагал занять пост наркома внутренних дел их отцам. Чекисты называли еще одно имя - Хрущева. Поскольку все эти слухи были беспочвенными, Сталин мог намеренно запускать пробные шары, чтобы накалить обстановку.
19 ноября, через два дня после принятия совместного постановления, положившего конец практике рассмотрения дел тройками, в кремлевском кабинете Сталина состоялось ключевое заседание. Рассматривалось заявление о нарушениях в НКВД, которое было подано на имя Сталина 13 ноября начальником управления НКВД по Ивановской области В.П. Журавлевым. За два дня до подачи заявления Журавлев встретился с Берией и рассказал ему об этих нарушениях. Именно Берия и побудил его написать Сталину, чтобы спровоцировать отставку Ежова. В своем заявлении Журавлев критиковал Ежова за покровительство подозрительным ответработникам в центральном аппарате НКВД - Радзивиловскому и в особенности своему приятелю Литвину, в свое время поддерживавшему "враждебные контакты" с Постышевым. Хотя Журавлев, как он утверждал, ранее докладывал об этих фактах Ежову, тот не проявил к этому должного внимания. По всей видимости, Берия тут же начал действовать, так как 12 ноября Литвина вызвали в Москву. В этот день с утра Литвину позвонил сам Ежов, и, хотя прямо ничего не сказал об опасности, по тону разговора и скрытым намекам Литвин понял, что в Москве его не ждет ничего хорошего, и вечером застрелился в своей квартире.
Безусловно, с точки зрения Сталина, наряду с Люшковым Литвин был еще одним ускользнувшим врагом, и виноват в этом был Ежов. Сталин передал заявление Журавлева ведущим членам Политбюро, среди которых был и Ежов, рекомендуя вынести его на обсуждение. На следующий день, 14 ноября, исчез другой протеже Ежова, глава НКВД Украины А.И. Успенский, и тоже после вызова в Москву. Как позднее выяснилось, ему тоже позвонил Ежов и прямо сказал: "Тебя вызывают в Москву, дела твои будут разбирать. Плохи твои дела". А в конце разговора намекнул: "А вообще, ты сам посмотри, как тебе ехать и куда ехать…". Предвидя неминуемый арест Успенский бежал, оставив записку, будто бы он пошел топиться в Днепр и чтобы его тело искали там. Сталин 22 ноября в крайнем негодовании направил Берии записку:
"Т-щу Берия.
Нужно поставить чекистам задачу; Поймать Успенского во что бы то ни стало. Задета и опозорена честь чекистов, не могут поймать одного мерзавца - Успенского, который на глазах у всех ушел в подполье и издевается.
Нельзя этого терпеть.
22/XI–38 И. Сталин".
И хотя в этот момент Ежов еще числился наркомом внутренних дел, он уже полностью был лишен доверия Сталина, который не без основания полагал, что в этом исчезновении он замешан. Как вспоминал впоследствии Хрущев (в то время первый секретарь ЦК Компартии Украины), Сталин сообщил ему по телефону о намечавшемся аресте Успенского, а спустя некоторое время после его исчезновения Сталин сказал Хрущеву, что, видимо, Ежов подслушал их телефонный разговор и предупредил Успенского.
Заседание в кремлевском кабинете Сталина по поводу заявления Журавлева, состоявшееся 19 ноября, продолжалось с 11 часов вечера до четырех утра следующего дня и превратилось в проработку Ежова. Присутствовали сам Ежов, Сталин и члены Политбюро Андреев, Каганович, Микоян, Молотов, Ворошилов и Жданов, а также Берия, Фриновский, Маленков и Шкирятов. Ежова обвиняли в засорении следственных органов шпионами иностранных разведок и, что еще важнее, в недосмотре за отделом охраны членов ЦК и Политбюро, где якобы окопались заговорщики. Бесценный материал для подобного рода обвинений дал арестованный Дагин, отвечавший за охрану руководителей и написавший 15 ноября заявление разоблачающее Ежова.
Вечером 23 ноября Ежова вновь вызвали к Сталину, присутствовали Молотов и Ворошилов. Заседание началось в 9 часов 25 минут вечера и продолжилось до часа ночи. Это был последний разговор Ежова со Сталиным. Очевидно, обсуждалось заявление Ежова об отставке с поста наркома внутренних дел и о признании его вины в том, что многие "враги народа" ушли от возмездия. Позднее в личном письме к Сталину Ежов писал, что после встречи 23 ноября он ушел еще более расстроенным: "Мне не удалось в сколь-нибудь связной форме изложить и мои настроения и мои грехи перед ЦК, перед Вами. Получилось нескладно. Вместо облегчения еще более тяжелый осадок недосказанного, недоговоренного. Чувство, что недоверие, которое совершенно законно возникло у Вас против меня, не рассеялось, а может быть стало даже большим".
Через несколько часов Политбюро удовлетворило просьбу об отставке, принимая во внимание также "болезненное состояние" Ежова, "не дающее ему возможности руководить одновременно двумя большими наркоматами". За ним сохранялись должности секретаря ЦК, председателя КПК и наркома водного транспорта, но положение его как одного из пяти ведущих партийных лидеров было утрачено. Это нашло косвенное отражение в постановлении Политбюро от 27 ноября, распределившем обязанности между секретарями ЦК, в котором были упомянуты только Жданов и Андреев. Через день после принятия Политбюро отставки Ежова, 25 ноября, Указом Президиума Верховного Совета СССР новым наркомом внутренних дел был назначен Берия. В тот же день Сталин проинформировал секретарей региональных парторганизаций о замене. В объяснение этого шага он указал на предоставленные Журавлевым улики и новые факты, свидетельствующие, что в НКВД после разгрома шайки Ягоды появилась новая шайка предателей, в том числе Люшков и Успенский, которые намеренно запутывали следственные дела и укрывали злейших врагов народа, а Ежов и не думал им препятствовать. Однако в прессе смена наркома пока не оглашалась. Только через две недели в "Правде" появилась заметка из шести строк в рубрике "хроника", размещенная в нижнем уголке последней страницы номера.
На следующий день, 26 ноября, новый шеф НКВД отдал приказ № 00762 о порядке осуществления постановления от 17 ноября. Органам НКВД предписывалось немедленно свернуть массовые операции, а все регламентировавшие их прежние приказы и распоряжения признавались недействительными. Совещания сотрудников НКВД на региональном и местном уровне надлежало организовать таким образом, чтобы постановление можно было зачитать и разъяснить. Некоторые главы региональных НКВД не сразу поняли значительность перемен. Крымский нарком внутренних дел Л.Т. Якушев-Бабкин, например, в декабре 1938 года был арестован по обвинению в продолжении массовых операций после ликвидации троек: 28–29 ноября были расстреляны 770 человек, причем 553 из них расстреляны лично главою Крымского НКВД.
По инициативе Берии по центральному аппарату НКВД прокатились аресты. Были "взяты" многие люди Ежова, в том числе: С.Г. Гендин и 3.И. Пассов (22 октября), С.Б. Жуковский (23 октября), Н.Г. Николаев-Журид и М.А. Листенгурт (25 октября), С.М. Шпигельглаз (2 ноября), И.Я. Дагин (5 ноября), Е.Г. Евдокимов (9 ноября), Я.И. Серебрянский (10 ноября), И.И. Шапиро (13 ноября), Н.Н. Федоров (20 ноября), С.Ф. Реденс (22 ноября), М.А. Трилиссер (23 ноября) и Г.Ф. Горбач (28 ноября). А руководителей региональных НКВД Берия арестовывал партиями. О том, как это происходило, рассказал на допросе в 1953 году Меркулов. В Москву была вызвана группа руководителей региональных НКВД (от 15 до 20 человек), "все они по одному вызывались из приемной в кабинет наркома и здесь же арестовывались". Как пояснил Меркулов, "операция эта была проведена Берия". А Дагин был арестован Берией в кабинете Ежова, причем при аресте Дагин оказал сопротивление. Меркулов добавил, что он тоже участвовал в этом аресте и спешка была вызвана необходимостью устранить Дагина от участия в охране предстоящего 7 ноября парада и торжеств. Его тут же доставили в карцер Лефортовской тюрьмы, где он находился "в одном белье в тяжелом состоянии".
Не забыл Берия и А.С. Журбенко, который летом 1938 года затребовал из архива материалы по Грузии. Теперь он работал начальником УНКВД по Московской области. Журбенко был арестован 29 ноября, а через неделю на его место, в качестве поощрения за разоблачение Ежова, был назначен В.П. Журавлев. Будучи арестованным, Журбенко направил 4 декабря заявление Сталину. В нем он рассказал немало любопытного. Например, о том, как во время сессии Верховного Совета РСФСР в Москве (июль 1938 года) он услышал, как Ежов предложил Успенскому перейти на руководящую работу в Москву. Присутствующий при этом разговоре Литвин возмутился: "Как же так, вчера на даче за ужином Н.И. Ежов поднимал тост за меня, как за будущего первого заместителя наркома, а сегодня предлагает этому "липачу" руководящую работу в наркомате?!" Журбенко пытался оправдаться и разжалобить Сталина, просил справедливо разобраться в его деле, вспоминая, что дома у него остался сын 2,5 лет, а жена вот-вот должна родить. Он писал и о своих заслугах в "очистке" аппарата УНКВД по Московской области, и о проведенных арестах за недолгий 2-месячный срок пребывания в должности. И наконец, о своей многолетней преданной работе чекиста, которая началась в комендатуре Крымской ЧК где он под руководством И.Д. Папанина своей "еще юношеской рукой непосредственно уничтожал врагов".
Как уже говорилось, некоторые главы региональных НКВД пытались упредить опасность. 12 ноября застрелился Литвин, на его место был назначен ставленник Берии - С.А. Гоглидзе. Через два дня исчез Успенский. Берия, разумеется, не поверил в его инсценировку "самоубийства" и распорядился усилить охрану границ и выследить беглеца. Успенского искали долго, но все же обнаружили, и он был арестован 16 апреля 1939 года (по другим данным 15 апреля).
Теперь в кабинетах Лубянки воцарились бериевцы. Когда в сентябре 1938 года на Лубянке появились первые из них, они одним своим видом внушали Ежову ужас. "Особенно бросался в глаза 130-киллограмовый Богдан Кобулов". Своих жертв он "избивал кулаками. Он прыгал на них и наваливался своим огромным весом. Его любимым орудием пыток была дубинка". За широкие плечи Берия прозвал его "самовар".
Прибывший из Грузии и назначенный в первых числах декабря Берией на должность начальника 5-го отдела ГУГБ НКВД (иностранного отдела - ИНО) В.Г. Деканозов не скрывал своего рвения и заявлял сослуживцам, что "работников ИНО он всех пересажает, так как они все изменники". Берия ценил свои лучшие кадры. Он даже придумал ласковые клички для своих ближайших соратников: "Меркулич" (В.Н. Меркулов), "Кобулич" (Б.З. Кобулов) и "Мамулич" (С.С. Мамулов).
Завершение массовых репрессий, как и их начало в июле 1937 года, произошло в полном соответствии с планом. В обоих случаях инициатива исходила из центра - от Сталина. Тем не менее, следственные методы 1937 года прочно укоренились в системе госбезопасности. И прибывшее на смену ежовским кадрам новое чекистское поколение приняло их как эстафету. Как показывал на следствии Меркулов: "В Лефортовской тюрьме было жутко проходить, слыша крики избиваемых. Я не мог заснуть ночами, вспоминая эти картины. Избиение арестованных имело место и в кабинетах следователей в наркомате. Так продолжалось, примерно, до середины 1939 года, когда бить в помещении наркомата было запрещено и били арестованных только в Лефортовской и Сухановской тюрьмах, на перевод куда требовалось отдельное разрешение Берия, мое или Кобулова, а возможно это также делалось с разрешения начальников следственных частей".
На вопрос, а бил ли арестованных сам Берия в тот период, Меркулов ответил: "В моем присутствии Берия несколько раз бил арестованных, в своем кабинете и в тюрьме - рукой и резиновой палкой".
По имеющимся сведениям, Сталин и Берия вначале хотели арестовать жену Ежова как "английскую шпионку" и заставить ее давать показания против мужа. Евгения была особенно уязвима, так как у нее было много любовников. Одним из них, по всей видимости, был писатель Михаил Шолохов. Как показала Зинаида Гликина, сотрудница Иностранной комиссии Союза писателей, эксперт по США, и близкая подруга Евгении, временами гостившая у Ежовых, познакомились они весной 1938 года. Шолохов тогда был в Москве, и Ежов пригласил его к себе на дачу. Летом того же года Шолохов вновь приехал в Москву и посетил Евгению в редакции журнала "СССР на стройке" под предлогом участия в выпуске журнала, а потом проводил ее домой. Вернувшись в Москву в августе, он с Фадеевым опять зашел к Евгении в редакцию, после чего они втроем пообедали в гостинице "Националь". На следующий день Шолохов снова был у Евгении в редакции и на этот раз пригласил ее в свой номер в той же гостинице, где она пробыла несколько часов.
На следующий день, вернувшись на дачу поздно вечером и сильно выпив, Ежов в состоянии заметного опьянения и нервозности вынул из портфеля какой-то документ и с озлоблением спросил жену: "Ты с Шолоховым жила?" Это была стенографическая запись того, что происходило в номере Шолохова во время пребывания в нем Евгении: по указанию Ежова все разговоры подслушивались. Гликина писала, что Евгения очень взволновалась, читая этот документ; затем Ежов показал его Гликиной. Она прочла отдельные места, такие как: "тяжелая у нас с тобой любовь, Женя", "целуются", "ложатся". Выйдя из себя, Ежов подскочил к Евгении и, по словам Гликиной, "начал ее избивать кулаками в лицо, грудь и другие части тела". Очевидно, супружеская размолвка скоро закончилась, так как через несколько дней Евгения сказала Гликиной, что муж уничтожил стенограмму. По словам Гликиной, в октябре Ежов рассказал ей, что Шолохов ходил на прием к Берии и жаловался, что Ежов организовал за ним слежку и в результате разбирательством этого дела занимается лично Сталин. Как мы уже убедились, разбирательство касалось жалобы Шолохова Сталину на произвол, царящий у него на родине.
Прошло немного времени, и Ежов стал думать о необходимости развода. 18 сентября 1938 года он сообщил о своем решении Евгении, которая совершенно растерялась и на следующий день обратилась к Сталину за "помощью и защитой". В ее письме были такие строки: "Вчера Николай Иванович сказал мне, что мы должны развестись. Из того, что он меля долго расспрашивал о моих встречах с разными знакомыми я поняла, что его вчерашнее решение вызвано не чисто личными причинами, то есть не охлаждением ко мне или любовью к другой женщине. Я почувствовала, что это решение вызвано какими-то политическими соображениями, подозрениями в отношении меня". Она писала, что не знает, что вызвало эту подозрительность, ведь она была "боевым товарищем и другом" своему мужу. Она утверждала свою невиновность, высказывая сожаление, что из-за нее подозрение падало на Ежова. Сталин не ответил на письмо. Вскоре Евгения отправилась отдыхать в Крым вместе с Гликиной (муж Гликиной, Зайднер, весной того года был арестован по обвинению в шпионаже).
В материалах НКВД, поступавших на рассмотрение Ежову, содержались сведения о "подозрительных" связях его жены. Безусловно, он представлял, насколько они опасны и, возможно, хотел оградить ее от ареста, - это объясняет ее записку, найденную в подшивке: "Колюшенька! Очень тебя прошу, настаиваю проверить всю мою жизнь, всю меня… Я не могу примириться с мыслью о том, что меня подозревают в двурушничестве, в каких-то не содеянных преступлениях".
В июле 1938 года, почти через два года после его ареста, был расстрелян прежний муж Евгении А.Ф. Гладун. В том же месяце был арестован один из предположительных любовников Евгении Семен Урицкий. Ранее он был редактором "Крестьянской газеты", в которой когда-то работала и Евгения, потом стал директором всесоюзной Книжной палаты. Без сомнения, его арест организовал сам Ежов. Поразительно, что, в отличие от Гладуна, Ежову не удалось подвести его под расстрел до прихода Берии в НКВД, и Урицкий, таким образом, смог дать интересные показания против Ежовых. Он свидетельствовал, что Евгения состояла в близких отношениях с Исааком Бабелем, о чем Ежов узнал, найдя любовные письма Бабеля в вещах своей жены. Ежов распорядился о сборе компромата на Бабеля, и через несколько дней на стол наркома легла пухлая папка.
С осени 1938 года началась череда арестов людей из окружения Евгении. Впоследствии племянник и сосед Ежова по квартире Анатолий Бабулин показал, что в конце октября 1938 года Фриновский привез на дачу Ежову документ, который очень встревожил последнего. На следующий день Ежов позвонил жене в Крым и попросил ее немедленно вернуться в Москву. С этого момента он совсем пал духом, пил больше прежнего и стал очень нервозным. Он боялся, что впал в немилость, в особенности после арестов Дагина и Шапиро (5 и13 ноября). По словам сестры Ежова Евдокии, осенью 1938 года Евгения получила анонимку, обвиняющую ее в шпионаже и передаче секретных сведений за границу.