12 августа настала очередь и Дерибаса - он был арестован своим преемником на Дальнем Востоке Люшковым. В итоге, почти все начальники отделов НКВД, их заместители и начальники региональных управлений были арестованы и репрессированы, причем все по нелепым вздорным обвинениям. Согласно официальной статистике, с 1 октября 1936 года до 15 августа 1938 года - то есть во время чисток Ежова - по всей стране были арестованы 2273 сотрудника органов госбезопасности. Здесь стоит пояснить - эта цифра относится собственно к работникам системы ГУГБ НКВД СССР - УГБ НКВД республик, областей (то есть к работникам госбезопасности) и не включает пограничные и внутренние войска, милицию и сотрудников ГУЛАГа. В 1963 году комиссия ЦК КПСС сообщила, что с октября 1936 года по июль 1938 года, "согласно неполным данным", было репрессировано 7298 сотрудников НКВД. Действительно, если учесть милицию и войска НКВД, то эта цифра становится близкой к истине. С 1 октября по 15 августа 1938 года было репрессировано 2273 служащих органов госбезопасности, 4490 сотрудников милиции и 813 служащих пограничных и внутренних войск, в сумме получается число, близкое к названному комиссией ЦК КПСС 1963 года. Иное число репрессированных сотрудников НКВД назвал Ежов на суде, заявив, что "почистил" не менее 14 тысяч чекистов. Он имел в виду все подразделения НКВД, включая ГУЛАГ, пожарную охрану, систему записи актов гражданского состояния (загс), палату мер и весов, а также инспекцию резервов и т. п. Возможно, что Ежов включил в это число и тех, кто был только уволен. Во время перестройки КГБ называл цифру в 20 тысяч репрессированных сотрудников НКВД, чтобы подчеркнуть, насколько сами чекисты пострадали от сталинского террора. Однако, эти цифры относятся к более широкой категории лиц и к более продолжительному периоду, то есть к 1933–1939 годам. По этим сведениям, в указанный период было арестовано 22 618 сотрудников ОГПУ - НКВД, причем по всем видам обвинений (в том числе и уголовным), а на период 1937–1938 годов приходится 9462 арестованных сотрудника. Эти данные, помимо сотрудников госбезопасности, включают милицию, войска НКВД, ГУЛАГ, систему загсов и т. п., причем здесь большинство было арестовано за должностные преступления (присвоение казенного имущества, хищения, подлоги и другие неполитические преступления).
Безусловно, вместо арестованных на их посты назначались люди Ежова. Были приняты специальные меры для пополнения кадров НКВД за счет мобилизованных туда коммунистов и комсомольцев. Так, 3 декабря 1936 года Ежов доложил на совещании в НКВД, что он договорился с ЦК об отборе от 150 до 200 секретарей партийных организаций на работу в НКВД. А 11 марта 1937 года он уже приветствовал их ободряющей речью в стенах НКВД, утверждая, что в глазах народа - чекист - самое "почетное звание" и главное быть "преданным партии" всем сердцем.
Военная разведка также подверглась чисткам. С апреля 1935 года разведывательное управление Генерального Штаба Красной Армии (Разведупр) возглавлял С.П. Урицкий. В январе 1937 года, по настоянию Урицкого, его заместитель А. X. Артузов был смещен и заменен М.К. Александровским. Однако, Урицкий чувствовал себя при этом неудобно и пытался сохранить лицо, осуществляя самокритику. "Мы довольно плохие разведчики", - сказал он 19 мая 1937 на партийном собрании Разведупра, но это ему не помогло.
Спустя два дня, 21 мая, Сталин в Кремле в присутствии Молотова, Кагановича, Ворошилова, Ежова и Фриновского принял начальника иностранного отдела НКВД А.А. Слуцкого, руководителя спецгруппы НКВД (подчиненной непосредственно наркому и занимавшейся диверсиями, похищениями и ликвидациями за границей) Я.И. Серебрянского и руководителей Разведупра Урицкого, Александровского и А.М. Никонова (другой заместитель Урицкого). Встреча продолжалась два с половиной часа. Сталин заявил, что "в разведке нас разбили", а Разведупр со своим аппаратом "попал в руки немцев", и потребовал разведывательную "сеть разедупра распустить". Двумя неделями позже, 8 июня, Политбюро сместило Урицкого с поста начальника Разведупра и заменило его Яном Берзиным, возглавлявшим военную разведку в 1924–1935 годы. Урицкий был арестован в ноябре и расстрелян в августе следующего года.
В июле 1937 года началась настоящая чистка Разведупра. Двадцать человек из руководящего состава были арестованы НКВД, среди них был и Александровский (позже он был расстрелян). Цепная реакция продолжалась. Пробыв на своем посту менее двух месяцев, 1 августа Берзин был смещен Политбюро и заменен Никоновым, ставшим временно исполняющим обязанности начальника Разведупра. Ежов получил право осуществлять общее руководство Разведупром. Ему было поручено "установить общее наблюдение за работой Разведупра, изучить состояние работы, принимать по согласованию с Наркомом обороны неотложные оперативные меры, выявить недостатки Разведупра и через 2 недели доложить ЦК свои предложения об улучшении работы Разведупра и укреплении его свежими кадрами". Таким образом, Ежов возглавил руководство военной разведкой, укрепив его "свежими людьми" из НКВД.
Никонов поставил своеобразный рекорд, будучи арестованным спустя всего лишь несколько дней после своего назначения 1 августа. (Он был расстрелян в октябре 1938 года.) Все больше людей арестовывалось, и 3 декабря на заседании партбюро Разведупра было объявлено об аресте Берзина. (Он был расстрелян в июле 1938 года.) 5 сентября 1937 года Политбюро назначило ставленника Ежова, сотрудника госбезопасности С.Г. Гендина, заместителем начальника Разведупра; фактически он руководил под контролем Ежова. Командир Красной Армии А.Г. Орлов стал заместителем начальника внешней разведки. Гендин был арестован 22 октября 1938 года, Орлов весной следующего года, а вслед за ними и их подчиненные. Лишь в сентябре 1939 года был назначен новый начальник Разведупра И.И. Проскуров. Чистка Разведупра с июля 1937 года до начала 1938 года привела к "полному параличу центрального аппарата военной разведки" и полной ликвидации руководства и всех начальников отделов. По другим оценкам, в период между 1937 и 1940 годами сотни сотрудников военной разведки были репрессированы, что составило "примерно половину от их общего числа".
Некоторых людей Ягоды Ежов устранял довольно изощренными и скрытыми способами, чтобы избежать ненужных слухов и кривотолков. Позже во время допроса Фриновский утверждал, что в начале 1938 года Ежов считал, что сам по себе арест начальника иностранного отдела Абрама Слуцкого после того, как Агранов и Миронов на допросах назвали его "участником заговора Ягоды", нецелесообразен. Если бы Слуцкий был арестован, его показания могли бы повредить Ежову в глазах Сталина, и, более того, подчиненные Слуцкому сотрудники разведки за рубежом могли бы отказаться от возвращения домой, последовав примеру Игнатия Рейсса (Порецкого) в 1937 году. Как показал Фриновский, Ежов сам отдал приказ "ликвидировать Слуцкого без шума" и одобрил конкретные планы по его ликвидации. В феврале 1938, перед отъездом на Украину, он приказал своему заместителю Фриновскому ликвидировать Слуцкого до своего возвращения.
Фриновский выполнил поручение. 17 февраля он вызвал Слуцкого к себе в кабинет, а начальник оперативно-технического отдела Алехин прятался в смежной комнате. Пока Слуцкий докладывал, другой заместитель Ежова - Заковский - вошел в кабинет и, расположившись позади Слуцкого, сделал вид, что читает газету. Дальнейшее в описании Фриновского выглядит так: "Улучив момент, Заковский набросил на лицо Слуцкого маску с хлороформом. Последний через пару минут заснул и тогда, поджидавший нас в соседней комнате Алехин, впрыснул в мышцу правой руки яд, от которого Слуцкий немедленно умер. Через несколько минут я вызвал из санотдела дежурного врача, который констатировал скоропостижную смерть Слуцкого".
Согласно официальному рапорту НКВД об этом происшествии, во время разговора с Фриновским Слуцкий умер от внезапного сердечного приступа. Возможно, что использованный яд обладал действием, напоминавшим сердечный приступ (цианистый калий не использовался, вопреки последующим утверждениям А. Орлова и других). Ежов показал на предварительном следствии о Слуцком, что он "имел от директивных органов указание не арестовывать его, а устранить". Похоже, что сам Сталин дал санкцию на это убийство. Оснований подозревать Фриновского в том, что он сказал неправду, нет. Тем не менее, Служба внешней разведки России (СВР) придерживается официальной версии, что Слуцкий "умер в кабинете от внезапного сердечного приступа".
После смерти Слуцкого немедленного назначения его преемника не произошло. По-видимому, его заместителю С.М. Шпигельглазу было предложено временно исполнять обязанности начальника иностранного отдела. 28 марта 1938 года Политбюро назначило на эту должность 3. И. Пассова. Он пробыл в ней до своего ареста 22 октября того же года, а Шпигельглаз стал его заместителем. 2 ноября 1938 года Шпигельглаз был арестован, а на следующий день новым заместителем был назначен П.М. Фитин. Лишь через месяц, 2 декабря, Берия назначил В.Г. Деканозова начальником иностранного отдела.
В это же время шла аналогичная чистка армейского командования. Во второй половине 1936 года НКВД начал сбор компромата против военных руководителей высокого ранга, и в начале декабря на совещании в НКВД Ежов подчеркивал необходимость усиления работы НКВД в армии: если был саботаж в промышленности, то почему бы ему не быть и в армии? "Какие же основания рассчитывать, что нельзя совершать диверсионных актов в армии? Возможности для этого там имеются большие, во всяком случае не меньшие, чем в промышленности". 6 мая 1937 года бывший командующий ПВО Красной Армии М.Е. Медведев был арестован по приказу Ежова. Позднее, на допросе, бывший заместитель начальника управления НКВД Москвы А.П. Радзивиловский показал, что Ежов и Фриновский дали ему указания допросить Медведева и добиться от него "показаний о существовании военного заговора" и чтоб он назвал "возможно большее количество руководящих военных работников".
Позднее, в этом же месяце, был арестован заместитель наркома обороны Маршал Советского Союза М.Н. Тухачевский и вместе с ним ряд других "заговорщиков". Они были обвинены в заговоре с участием троцкистов, правых и Германской разведки. Их пытали, пока они не признались. Позднее, когда уже допрашивали его самого, Ежов рассказал, что способы получения признания от Тухачевского обсуждались на самом высоком уровне, после того, как прокурор Вышинский настаивал на применении пыток. В конце Сталин сказал следующее: "Смотрите сами, но Тухачевского надо заставить сказать все и открыть все свои контакты. Невозможно, чтобы он действовал сам по себе". Уже во времена Хрущева была проведена экспертиза, обнаружившая на протоколах допроса Тухачевского следы крови. Ежов руководил следствием и лично допрашивал Тухачевского и других. Сталин также контролировал ход следствия, читал протоколы допросов и принимал Ежова почти ежедневно. 11 июня советская пресса сообщила, что военный трибунал на своем закрытом заседании приговорил Тухачевского к высшей мере наказания за измену и шпионаж вместе с семью другими высшими военными руководителями. В последующие девять дней 980 командиров и политработников высокого ранга были арестованы как участники "военного заговора". В связи с этим Ежов и значительное число сотрудников НКВД были награждены орденами.
Это было лишь началом чистки в армии. В ноябре 1938 года нарком обороны Ворошилов объявил, что в 1937–1938 годах более 40 тысяч человек было вычищено из Красной Армии. В докладной записке, написанной в сентябре 1938 года заместителем Ворошилова Е.А. Щаденко, приводятся точные цифры. В 1937–1938 годах из Красной Армии был уволен 36 761 командир и политработник (около 10 тысяч из них были впоследствии восстановлены); 10 868 - арестованы, а 7211 - осуждены за контрреволюционные преступления. Согласно опубликованной позднее официальной информации, во время чисток 1937–1938 годов - 33 947 (или 33 460) командиров (без политработников) было уволено, а 7280 (или 7263) - из них также арестованы.
Настроение старых большевиков было чрезвычайно подавленным. Вскоре после процесса Тухачевского нарком юстиции Николай Крыленко в частной беседе сказал, как ему невыносимо быть в "ежовых рукавицах": "Теперь такие ленинцы, как я не ко двору, в моде Ежовы и Вышинские, выскочки с потерянной совестью". Он с негодованием говорил о "курином умишке" и "воробьиной близорукости" Ежова и его окружения. Полгода спустя Крыленко был арестован и через год расстрелян.
Ежов теперь стал одним из высших руководителей партии. 23 января 1937 года он заменил Ягоду в качестве члена Комиссии Политбюро по судебным делам, утверждавшей смертные приговоры (либо заменяя их на заключение). В течение 1937 года полнота власти перешла от Политбюро к узкому кругу пяти высших руководителей - "пятерке", одним из которых был Ежов, хотя он и не был членом Политбюро. 14 апреля 1937 года по инициативе Сталина Политбюро образовало постоянную комиссию по подготовке, а при необходимости, и решению вопросов секретного характера, включая и вопросы внешней политики. Ее членами были Сталин, Молотов, Ворошилов, Каганович и Ежов. Практически эти пятеро составили действующий орган власти, заменивший Политбюро в решении большинства важнейших вопросов. Наиболее секретная и серьезная информация от политических, карательных и военных ведомств поступала только к ним. Более того, 27 апреля Политбюро образовало Комитет обороны в следующем составе: Молотов (председатель), Сталин, Каганович, Ворошилов, Чубарь, Рухимович и Межлаук - члены, Гамарник, Микоян, Жданов и Ежов - кандидаты в члены.
Кампания против бывших оппозиционеров шла в основном с декабря 1934 по март 1937 годов. Массовые репрессии внутри самой партии начались после февральско-мартовского (1937) пленума. Теперь стали арестовывать и членов ЦК, никогда не принадлежавших к какой-либо оппозиции. В марте и апреле, во время кампании перевыборов в местные партийные органы, на районном и городском уровне проходили партийные конференции, на которых под видом укрепления "партийной демократии" рядовые члены партии получили право критиковать и исключать из партии местных партийных руководителей. В мае - июне то же самое повторилось и на областном уровне. Во многих случаях исключение из партии означало арест. С 1 января по 1 июля 1937 года из партии было исключено 20 500 членов, и большей частью они принадлежали к старым партийным кадрам.
Чистка аппарата Исполкома Коминтерна также продолжалась. Сталин в феврале 1937 года, во время разговора с Димитровым, высказал подозрение, что Коминтерн действовал по указке врагов. В дополнение к комиссии Москвина, упомянутой выше, с этого времени другая комиссия секретариата Исполкома Коминтерна проверяла иностранных коммунистов, ставших членами ВКП(б). Она состояла из Мануильского, Москвина-Трилиссера и Яна Анвельта. 1 апреля Мануильский направил Ежову, Андрееву и Шкирятову письмо с предложением установления более строгих правил для иностранных коммунистов, желавших стать членами ВКП(б). В мае была образована специальная контрольная комиссия, в которую входили Димитров, Мануильский и Москвин-Трилиссер. 26 мая Димитров записал в своем дневнике, что ночью он встречался с Ежовым, который пожаловался ему на то, что "крупнейшие шпионы действовали в Коминтерне". На следующий день комиссия начала проверку аппарата Коминтерна. К середине июня 65 сотрудников были вычищены и среди них - представители национальных партий в Исполкоме Коминтерна. В июле комиссия приостановила свою работу.