Вскоре обвинения против правых стали достоянием общественности. 4 декабря 1936 года на пленуме ЦК Ежов обвинил их в том, что им было известно о планах троцкистско-зиновьевского блока по покушению на Сталина и других, и что они одобряли эти планы. Они даже "немедленно возглавили террористические группы". Однако Сталин в своем заключительном слове признал, что нет прямых указаний на принадлежность Бухарина и Рыкова к террористический группе. ЦК вынес решение провести проверку и отложить окончательное решение до следующего пленума.
Пока дело против правых еще не завершилось, состоялся второй большой московский показательный процесс, названный процессом "параллельного антисоветского троцкистского центра" против Пятакова, Радека, Сокольникова и других. На декабрьском (1936) пленуме Ежов доложил, что раскрыт новый "заговор" с их участием, и что ЦК исключил Пятакова и Сокольникова из партии за тесные связи с троцкистскими и зиновьевскими террористическими группами. Процесс был проведен с 23 по 30 января 1937 года и с момента предъявления обвинения до вынесения смертного приговора был непосредственно срежиссирован Сталиным и Ежовым. 13 января, когда Радеку была устроена очная ставка с Бухариным, Ежов руководил проведением допроса, в котором участвовали также Сталин и другие члены Политбюро. За три дня до окончания процесса Ежову было присвоено звание Генерального Комиссара госбезопасности, которое соответствовало званию Маршала Советского Союза в армии.
Печально известный февральско-мартовский (1937) пленум ЦК ВКП(б) дал мощный импульс репрессиям против партийно-хозяйственного аппарата. Весь смысл и докладов и выступлений в прениях заключался в том, что страна, оказывается, наводнена шпионами, диверсантами и вредителями, пролезшими на самые высокие посты. Пленум начал работу 23 февраля и сразу заслушал доклад Ежова о деле Бухарина и Рыкова. Их и других правых обвинили в том, что с начала 1930-х годов они намеревались силой захватить власть и фактически образовали блок с троцкистами, зиновьевцами и другими антисоветскими партиями. По его словам, они встали на путь террора и сотрудничества с зарубежными фашистами. Когда Бухарин отказался признаться в этом, Ежов потребовал, чтобы его и Рыкова исключили из партии, предали суду и приговорили к высшей мере наказания. Некоторые из участников пленума сочли это слишком суровым, и по предложению Сталина ЦК принял решение о передаче их дела в НКВД. Бухарин и Рыков были тут же арестованы. Пленум продолжил работу и 2 марта заслушал второй доклад Ежова "Уроки вредительства, диверсии и шпионажа японо-немецко-троцкистских агентов". Ежов говорил о недостатке бдительности и о том, что даже в НКВД выявляются засевшие там враги. Накануне пленума был арестован бывший начальник секретно-политического отдела ГУГБ Молчанов, и Ежов немало говорил о его "предательской" роли и о покровительстве ему со стороны Ягоды.
Ежов попросил Секретариат ЦК, чтобы в дополнение к тем, кого пригласили на заседание по должности, на пленум были бы также приглашены еще 19 высокопоставленных сотрудников НКВД. Среди них был и его первый заместитель Агранов, выступивший с речью и использовавший эту возможность для восхваления своего шефа. Как он заявил, с назначением Ежова "у нас повеяло крепким, оздоровляющим партийным ветром" и с этого времени "органы госбезопасности начали быстро скрепляться крепким партийно-большевистским цементом". В прениях также выступили чекисты Л.М. Заковский, В.А. Балицкий, С.Ф. Реденс, Е.Г. Евдокимов, Л.Г. Миронов, а кроме них М.М. Литвинов, А.Я. Вышинский и И.А. Акулов. Ягоду обличали все. С покаянной речью обратился к участникам пленума Ягода, его прерывали репликами и едкими комментариями. Особой злобой против Ягоды отличалось выступление Е.Г. Евдокимова, его в свое время Ягода вытеснил с работы в ОГПУ. И вот теперь Евдокимов заявил, что он "горит от стыда и обиды" за сложившееся тяжелое положение в НКВД, и "главным виновником этого является Ягода". "Я думаю, - подытожил Евдокимов, - что дело не кончится одним Молчановым". Ягода воскликнул: "Что вы, с ума сошли?". Евдокимов предложил вывести Ягоду из ЦК, лишить звания Генерального комиссара госбезопасности и привлечь к ответственности. По окончании прений и заключительного слова Ежова вдруг то ли с вопросом, то ли с предложением выступил И.П. Жуков: "Почему не арестован Ягода?", но в зале зашумели, закричали "не надо ничего принимать", и предложение не прошло.
В резолюции пленума от 3 марта по докладу Ежова особо говорилось о необходимости удаления из ГУГБ "разложившихся бюрократов, потерявших всякую большевистскую остроту и бдительность в борьбе с классовым врагом". Также констатировалось, что НКВД на четыре года опоздал в разоблачении троцкистско-зиновьевского блока. А бывший начальник секретного политического отдела ГУГБ Молчанов был объявлен одним из главных виновников "позорного провала" органов госбезопасности в борьбе против зиновьевцев и троцкистов. В духе ежовского выступления отмечалось, что "полит-изоляторы находились в особо благоприятных условиях и больше походили на принудительные дома отдыха, чем на тюрьмы". Тезис о том, что политические враги слишком вольготно чувствуют себя в тюрьмах, Ежов стал развивать еще на декабрьском совещании (1936) руководящего состава НКВД. Аппарат ГУГБ, - говорилось в постановлении, - надлежит усилить новыми партийными кадрами, а его реорганизацию, начатую 28 ноября 1936, следует продолжить, чтобы превратить его в "действительно боевой орган", способный обеспечить безопасность советского государства и общества.
Со своим знаменитым докладом "О недостатках партийной работы и мерах ликвидации троцкистских и иных двурушников" Сталин выступил на пленуме 3 марта. Он представил свое видение разворачивающегося террора. По его мнению, "зиновьевско-троцкистский блок" превратился в "шпионскую и диверсионно-террористическую агентуру германской полицейской охранки" и находился в некоем альянсе с окружающими буржуазными государствами - Финляндией, Балтийскими странами, Польшей, Румынией, Турцией и Японией - при поддержке Франции и Великобритании, который всегда ставил целью сокрушение СССР. В соответствии со своим планом троцкисты подрывали советское государство путем шпионажа, терроризма и диверсий, чтобы создать условия для иностранной военной интервенции. Все это было достаточно ясно, однако некоторые руководящие товарищи в партии оказались слишком "беспечными, благодушными и слепыми", чтобы увидеть это, и помогли иностранным агентам пробраться на высокие посты. Однако, теперь наступило время покончить с диверсантами без всякой жалости.
Резолюция пленума давала Ежову карт-бланш на разворачивание чистки и арестов в самом НКВД. кое-какие шаги в этом направлении Ежов сделал еще до пленума. Заместитель начальника УНКВД по Саратовской области, Игнатий Сосновский, поляк по происхождению, уже был арестован в ноябре 1936 года, и за его арестом последовала серия арестов других сотрудников НКВД польского и немецкого происхождения, которых Ежов подозревал в том, что они "агенты иностранных разведок" - это делалось широкомасштабно и повсеместно. В феврале 1937 года его заместитель Агранов запросил из региональных управлений списки бывших троцкистов, зиновьевцев и правых, работавших в НКВД.
19–21 марта 1937 года Ежов созвал актив ГУГБ в главном здании НКВД, чтобы сообщить им об итогах февральско-мартовского пленума. Такие же активы по итогам пленума собрали во всех партийных организациях и наркоматах. Но о своем активе в ГУГБ НКВД Ежов, хвастаясь, говорил: "У меня актив был наиболее острый, потому, что у меня прямо с актива выписывались ордера и садились люди. Едва ли в другом наркомате было такое положение".
После актива чистка НКВД и методичные аресты проводились во все возрастающем масштабе. Постепенно "вырисовывался" предательский заговор коварного Ягоды. Дело разрасталось. 29 марта был арестован и сам Ягода вместе с начальником своего секретариата П.П. Булановым. Два дня спустя Сталин сообщил членам ЦК, что выявлены "антигосударственные и уголовные преступления", совершенные Ягодой в бытность главой НКВД и позднее. Ввиду "опасности оставления Ягоды на воле хотя бы на один день" Политбюро оказалось "вынужденным дать распоряжение о немедленном аресте Ягоды", а уже после этого оно попросило ЦК санкционировать его исключение и арест.
11 апреля настала очередь бывшего заместителя Ягоды (с 29 сентября 1936 года заместитель наркома связи) Г.Е. Прокофьева. Также были арестованы начальники отделов К.В. Паукер (отдел охраны, 17 апреля), A.M. Шанин (транспортный отдел, 22 апреля), Г.И. Бокий (специальный отдел, 16 мая) и М.И. Гай (бывший начальник особого отдела, а с ноября 1936 начальник Восточно-Сибирского УНКВД, 1 апреля). В апреле начальник контрразведывательного отдела Л.Г. Миронов был отправлен в командировку с целью разгрома "шпионов и вредителей" на Сибирской и Дальневосточной железных дорогах. Он даже успел принять участие в допросе Ягоды, но 14 июня был арестован сам.
4 апреля, сразу после сообщений в печати об аресте Ягоды, принадлежавший к его ближайшему окружению начальник УНКВД по Горьковской области М.С. Погребинский застрелился. Весной 1937 года по НКВД прошла волна самоубийств, вызванных страхом. Так, 17 апреля заместитель начальника контрразведывательного отдела И.И. Черток выбросился из окна. В мае Ежов продолжил чистку НКВД от людей Ягоды. 17 мая Агранов был смещен с поста заместителя наркома (ранее, 15 апреля, он. потерял посты первого заместителя и главы ГУГБ - их вместо него получил Фриновский) и назначен начальником УНКВД Саратовской области после того, как его предшественник Р.А. Пилляр был арестован как агент "ПОВ". Агранов был арестован 20 июля, затем осужден и расстрелян 1 августа 1938 года.
Ежов придавал большое значение допросу Ягоды, заботясь о том, чтобы его собственные ставленники не предстали в невыгодном свете. Это было непросто, так как за ходом расследования следил сам Сталин, и Ежов был обязан без промедления отправлять в Кремль протоколы допросов наиболее важных подследственных. Хотя руководить допросами Ягоды было поручено Фриновскому, в них также принимал участие начальник УНКВД по Ленинградской области Л.М. Заковский вместе с В.М. Курским, Л.В. Коганом и Н.М. Лернером. В соответствии с указаниями Ежова и Фриновского, имена некоторых служащих НКВД высокого ранга изымались из материалов следствия - так было, например, с материалами на Люшкова. Показания Ягоды поначалу давали небогатый материал, вырисовывались лишь "антисоветские разговоры" среди чекистов. Этого было явно недостаточно, ведь Сталин хотел, чтобы Ягода был представлен настоящим заговорщиком, и планы совершения государственного переворота были приписаны не только ему, но и его ближайшим сотрудникам, таким как Гай, Паукер, Бокий, Артузов, Сосновский, Пилляр, Прокофьев и Шанин.
Еще один "ударный" эпизод в деле Ягоды был связан с обвинением его в покушении на убийство Ежова. На допросе он показал, что после своего смещения он пытался отравить нового наркома. 28 или 29 сентября он приказал своему секретарю Буланову распылить в кабинете Ежова ртуть, растворенную в кислоте. Буланов выполнил этот приказ с участием порученца Ягоды Саволайнена, а сам Ягода наблюдал за этим. Распыление, якобы, было продолжено и после отбытия Ягоды в отпуск (1 октября). На суде в марте 1938 года Ягода и Буланов подтвердили это показание. Позднее, когда Ежов оказался под следствием, было установлено, что он сам и организовал эту авантюру. Ежов утверждал, что он принес в свой кабинет ткань с ртутью, и затем покушение было "раскрыто" - был арестован сотрудник НКВД и принужден к даче показаний, что это было сделано по приказу Ягоды и "право-троцкистского блока". Фриновский показал на допросе в апреле 1939, что Ежов жаловался коллегам на то, что как только он вошел в кабинет, "он почувствовал металлический привкус во рту; из его десен стала течь кровь, и зубы стали расшатываться". Он стал постоянно повторять, что был отравлен в своем кабинете и, таким образом, как показал Фриновский, "заставил следствие получить нужные показания".
На процессе в феврале 1940 года Ежов отверг обвинения в том, что он приказал устроить эту мошенническую аферу с отравлением ртутью; по его словам, вскоре после начала своей работы в НКВД он плохо себя чувствовал, и у него начали выпадать зубы. Врачи поставили диагноз - грипп, но Ежов выглядел настолько больным, что весной 1937 года Заковский пришел к выводу, что он, возможно, был отравлен. Начальник оперативного отдела ГУГБ Н.Г. Николаев-Журид, получивший приказ проверить кабинет Ежова, обнаружил в воздухе пары ртути и сделал тот же самый вывод.
В июне 1939 года, после ареста, бывший личный врач Ежова из кремлевской больницы В.М. Поллачек показал, что весной 1937 года он был вызван в кабинет Ежова вместе со своим коллегой Виноградовым. Ежов жаловался на плохое самочувствие и металлический вкус во рту. Анализ мочи Ежова не дал результатов, однако десять или двенадцать дней спустя врачи были вызваны снова и им предъявили результаты анализа мочи Ежова, произведенного в клинике биохимика профессора Б.И. Збарского, при котором были обнаружены следы ртути. Поллачек и Виноградов после этого лечили Ежова до ноября 1937 года. Много лет спустя сам Збарский рассказывал писателю А.П. Штейну о том, как в 1937 году Ежов предъявил ему показания Ягоды о том, что он (Ягода) давал Збарскому указания отравить Ежова. Персоналу было приказано обработать кабинет Ежова ночью дезинфекционным препаратом, содержащим ртуть (он назывался "бактерицидом Збарского"); занавески на дверях надо было обработать специальным пульверизатором, а окна и двери оставить закрытыми до утра.
Во время кампании по реабилитации, в конце 80-х годов, было подтверждено, что Ежов сам осуществил инсценировку дела об отравлении ртутью. Николаев втер ртуть в ткани и обивку мебели в кабинете Ежова, а потом инсценировал их обнаружение. Сотрудника НКВД, имевшего доступ в кабинет, избивали на допросах до тех пор, пока он не признался в том, что совершил отравление (это был Саволайнен), а банку с ртутью, которую подбросили ему домой, в нужное время "нашли" и представили как "доказательство".
20 июня 1937 года, с одобрения Сталина, была расстреляна первая группа "заговорщиков" из НКВД и среди них М.И. Гай, А.Я. Лурье и С.В. Пузицкий, начальник оперативного отдела Дмитровского лагеря, заключенные которого строили канал Москва-Волга, открывшийся в начале мая 1937 года. Пузицкий был арестован вскоре после того, как 22 апреля Сталин, Молотов, Ворошилов и Ежов посетили канал. Тогда же арестовали начальника Дмитлага С.Г. Фирина и более 200 работников - строителей канала, как якобы участников заговора Ягоды. Для быстрой расправы с ними в начале июня была создана комиссия НКВД, Прокуратуры и Военной коллегии, которая, не мешкая, во внесудебном порядке (по спискам) оформляя протокол за протоколом, рассматривала дела работников Дмитлага и выносила смертные приговоры. В следующие месяцы были расстреляны многие бывшие руководители ОГПУ-НКВД: 14 августа И.В. Винецкий, 3. И. Волович, И.В. Запорожец, К.В. Паукер, Г.Е. Прокофьев, А.М. Шанин и С.Г. Фирин; 21 августа бывший начальник иностранного отдела А. X. Артузов; 2 сентября Р.А. Пилляр и С.А. Мессинг; 9октября Г.А. Молчанов; 15 ноября Г.И. Бокий и И.И. Сосновский; 27 ноября Ф.Д. Медведь и В.А. Балицкий.
За полгода до этого, в мае 1937 года, Балицкий был назначен начальником УНКВД по Дальневосточному краю, а на посту наркома внутренних дел Украины его должен был сменить Т.Д. Дерибас. Но Дерибас так и не поехал в Киев, а 7 июня 1937 Ежов направил на Украину бригаду во главе с Фриновским, Дерибасом и начальником пятого отдела ГУГБ И.М. Леплевским, с целью "выявления и разгрома шпионских, вредительских, диверсионных, заговорщических, троцкистских и других контрреволюционных групп", включая таковые в Красной Армии. Через неделю Леплевский был официально назначен наркомом внутренних дел Украины, а Дерибас вернулся на Дальний Восток в качестве начальника управления НКВД.
Балицкий 19 июня был смещен с должности начальника УНКВД Дальневосточного края, 25 июня на пленуме выведен из состава ЦК и вскоре арестован. Любитель женщин и красивой жизни Балицкий, который ни в чем себе не отказывал - ему к обеду самолетом доставляли жареных цыплят из Харькова, явно не представлял своей судьбы. Встреча нового 1937 года коллективом украинских чекистов запомнилась многим, гуляли как в последний раз. В своем заявлении начальник АХУ НКВД УССР С.М. Циклис дает выразительные картинки того праздника: "Постышев окруженный женщинами, пляшет и напевает песенку "Капитан, капитан…". Музыканты с барабаном из кожи лезут вон, а один из музыкантов начинает плясать с Постышевым. Балицкий доволен, заливается со смеху и танцует фокстрот непристойно обнимая женщин. Бачинский, подливающий коньяк Постышеву и Балицкому, "старейший теоретик" таких оргий, выпивший до бессознательности потирает руки, доволен. Крауклиса жена тянет в комнату спать. Крики: "Циклис не дает, скупится, не дает шампанское"".