Имперская Германия была единственной державой, с которой у большевистского режима были установлены официальные дипломатические отношения и с кем он обменялся послами после подписания мирного договора в Брест-Литовске. 23 апреля 1918 года в Москве открылось германское посольство во главе с графом Вильгельмом Мирбахом. Шесть дней спустя один из сотрудников миссии Мирбаха писал в своем дневнике: «Здесь мы должны быть начеку, вокруг нас шныряют агенты и провокаторы. Советские власти смогли быстро возродить бывшую царскую „охранку“, хотя и в другой форме, но, по крайней мере, не меньшую по размерам и более жестокую по характеру.»
Задача проникновения в германское посольство была возложена на контрразведывательный отдел, созданный в мае 1918 года в Управлении по борьбе с контрреволюцией ЧК. В 1921—22 годах контрразведывательный отдел был расширен и на его основе создано отделение контрразведки, сокращенно КРО, предшественник Второго главного управления КГБ. Во главе этого отдела стал двадцатилетний левый эсер Яков Блюмкин, возможно, самый молодой начальник отдела в истории КГБ. Блюмкин успешно провел операцию по проникновению в германское посольство, вступив в контакт с графом Робертом Мирбахом, австрийским родственником немецкого посла, который попал в русский плен во время войны. В июне Блюмкин получил от него письменное обязательство снабжать ЧК секретной информацией о Германии и деятельности германского посольства.
Однако Дзержинский поступил неразумно, поручив эту операцию Блюмкину, поскольку левые эсеры продолжали активно выступать против Брестского мира. 4 июля Центральный комитет левых эсеров одобрил план покушения на немецкого посла. Левые эсеры считали, что, убив его, они заставят большевиков прекратить «умиротворение» немцев и возобновить военные действия на Восточном фронте, что, по их мнению, будет способствовать делу развития мировой революции. Покушение было поручено Блюмкину и его сотруднику, фотографу, левому эсеру, Николаю Андрееву. Утром 6 июля Блюмкин подготовил документ на бланке ЧК, на котором стояла подделанная подпись Дзержинского и секретаря ЧК, поручающий ему и Андрееву провести переговоры с послом Германии. Помощник Дзержинского, левый эсер Александрович, втянутый в этот заговор Блюмкиным, поставил на этот документ официальную печать ЧК. После полудня того же дня Блюмкин и Андреев приехали в германское посольство и договорились о встрече с послом под предлогом необходимости обсудить вопрос, связанный с его родственником графом Робертом Мирбахом. Впоследствии Блюмкин утверждал, что именно он застрелил посла из своего револьвера, однако, по свидетельству сотрудников посольства, все три выстрела, произведенных Блюмкиным, не достигли цели, а граф Вильгельм Мирбах был застрелен Андреевым.
Таким образом, миссия ЧК как «щита и меча революции» чуть было не закончилась катастрофой. Вместо того чтобы защищать новое коммунистическое государство, в июле 1918 года ЧК чуть было не сыграло роль инструмента его разрушения. В телеграмме на имя Сталина Ленин писал, что покушение на Мирбаха поставило Россию на «волосок от возобновления войны с Германией». За покушением последовало восстание левых эсеров, в результате которого здание ЧК на Лубянке было захвачено, а Дзержинский арестован. Но у левых эсеров не было четкого плана действий, и их мятеж был подавлен в течение 24 часов преданными коммунистам латышскими войсками. 8 июля по собственному желанию Дзержинский ушел с поста руководителя ЧК. Была создана комиссия по расследованию обстоятельств восстания, а ЧК была очищена от левых эсеров. 22 августа Дзержинский был вновь назначен на пост председателя ЧК. К этому времени ЧК состояла исключительно из коммунистов.
Сдерживающее влияние левых эсеров потеряло силу, а политика террора против политических врагов начала набирать обороты. Дзержинский говорил: «Мы представляем собой организованный террор. Это должно быть сказано совершенно ясно».
Ленин проявлял активный, хотя и немного наивный интерес к использованию различных технических средств и методов, в том числе террора, для охоты за контрреволюционерами. Ему чрезвычайно понравилась идея использовать большие электромагниты для обнаружения во время обысков спрятанного в домах оружия. Он всячески настаивал на рассмотрении этой идеи в ЧК. Однако Дзержинский занял другую позицию, он говорил Ленину: «Магниты вряд ли можно использовать при обысках, мы уже пытались это сделать». Но в качестве эксперимента он все-таки согласился с тем, чтобы во время обысков использовались большие магниты, главным образом для того, чтобы испугать контрреволюционеров и заставить их добровольно сдать спрятанное оружие. Вскоре от подобных экспериментов отказались.
Действия ЧК, направленные на внедрение агентов в миссии Антанты и ее разведывательные сети в Россию, оказались более успешными, чем операция против посольства Германии.
До сих пор КГБ считает своей крупнейшей победой операцию ЧК по разоблачению летом 1918 года так называемого «заговора Локкарта», в которой участвовали британские, французские, американские дипломаты и тайные агенты. Роберт Брюс Локкарт, бывший исполняющий обязанности генерального консула Великобритании в дореволюционной Москве, был способным, но не самым надежным сотрудником консульской службы. На протяжении своей карьеры ему дважды приходилось начинать все с начала после того, как его весьма запутанные любовные похождения становились достоянием гласности. В начале 1918 года после того, как британский посол был отозван, Локкарта направили в Россию для вступления в неофициальный контакт с большевистским режимом. Он не смог добиться больших результатов. Главная цель его миссии заключалась в том, чтобы убедить большевиков продолжить войну с Германией, пообещав помощь армии Антанты. Несмотря на то, что Локкарт потерпел неудачу и мирный договор в Брест-Литовске был подписан, он не оставлял надежды на лучшее. В своих докладах в Лондон он писал, что, несмотря на мирный договор, «существуют значительные возможности для организации сопротивления Германии». Военный комиссар Троцкий и сменивший его на посту комиссара иностранных дел Георгий Чичерин, будучи чрезвычайно заинтересованными в установлении связи с Лондоном, всячески пытались убедить Локкарта в том, что Брестский мир не продлится долго. Но Локкарт не пользовался большим доверием у своего правительства. Один из чиновников Министерства иностранных дел Великобритании язвительно заметил: «Может быть, г-н Локкарт и давал нам плохие советы, но нас нельзя обвинить в том, что мы им следовали».
После того, как Локкарт потерял всякую надежду на возобновление войны на Восточном фронте, он быстро поменял свое амплуа пробольшевистского дипломата на антибольшевистского заговорщика. В середине мая он установил контакты с агентами антисоветского подполья, возглавляемого эсером-террористом Борисом Савинковым, который еще до войны участвовал в организации покушения на Плеве и Великого князя Сергея Александровича. В своих мемуарах Локкарт отрицал то, что он подталкивал Савинкова на совершение тех или иных действий. Однако в своих телеграммах в Лондон он говорил совсем о другом.