У кінці 1925 року для передачі езотеричного знання найбільш «гідним» представникам більшовицької партії Олександр Барченко за участю Бокія організував у «надрах» ОДПУ невеликий гурток із вивчення «Дюнхору». До нього увійшли провідні співробітники Спецвідділу: Гусєв, Цибізов, Кліменков, Філіпов, Леонов, Гоппіус, Плужніцов. Заняття із співробітниками Спецвідділу продовжувалися недовго, оскільки, за словами самого Бокія, учні виявилися «не підготовленими до сприйняття таємниць стародавньої науки». Врешті-решт, гурток Барченка розпався, але декілька разів його заняття відвідував і Генріх Ягода – майбутній шеф НКВС.
28 березня 1928 року на нараді у начальника 2-го відділу Управління справами НКВМС і РВР СРСР було прийнято ухвалу про організацію «військово-морської частини з дешифрування в Центрі, у Москві». Але справа просувалася украй поволі. Нова нарада, що відбулася 10 січня 1929 року та була присвячена тому ж питанню, на якому крім керівників ОДПУ і Спецвідділу, представників штабу РСЧА і Військово-морського флоту були також працівники морських штабів Балтійського та Чорного Морів, знов підтвердила необхідність організації відповідної дешифрувальної служби. Проте пройшов ще рік, а «військово-морська частина з дешифрування» ще не була створена.
Наприкінці лютого 1930 року Бокій підготував листа Ворошилову, в якому писав: «Спеціальний відділ при ОДПУ вважає такий темп, узятий штабом РСЧА у вирішенні питання щодо організації військово-морської частини з дешифрування, дуже повільним. Бажано прискорити вирішення цього питання, тобто стосовно дешифрувальної служби РСЧА відстала від армій своїх можливих супротивників, у яких ця справа давно налагоджена».
І лише у серпні 1930 року був створений перший дешифрувальний підрозділ при штабі РСЧА. Знаходився він у оперативному підпорядкуванні Спецвідділу при ОДПУ і фактично входив у його склад. За штатом він іменувався 13-м сектором 7-го відділу Штабу РСЧА. Наказом РВР від 5 серпня 1930 року було затверджене «Положення про 7-й відділ».
В одному з пунктів цього Положення було записано, що на відділ покладалися питання організації дешифрувальної роботи, керівництво та контроль над нею. «Начальник 7-го відділу в спеціальному відношенні підпорядковується начальнику Спеціального відділу при ОДПУ». Начальником військово-морського дешифрувального сектора було вирішено призначити помічника начальника Спецвідділу при ОДПУ Павла Хрисанфовича Харкевича.
Розвиток військової дешифрувальної служби просувався швидкими темпами. Менш ніж через рік 13-й дешифрувальний сектор був реорганізований у 5-й відділ 4-го управління штабу РСЧА, але як і раніше залишився в оперативному підпорядкуванні Спецвідділу при ОДПУ. Всі працівники відділу мали хорошу мовну підготовку та зарекомендували себе здібними аналітиками. Провідними фахівцями у дешифруванні військових шифрів того часу були Борис Володимирович Звонарьов, Карл Густавович Тракман, Павло Матвійович Шунгський тощо.
15 листопада 1929 року були відкриті «Курси вдосконалення командного складу РСЧА», на яких готувалися офіцерські кадри шифрувальної служби. Тоді ж у Херсоні в найсуворішій таємності був організований відділ з підготовки офіцерів шифрувальної справи. Саме випускники херсонського відділу згодом брали участь у розробці малогабаритної дискової кодувальної машини К-37 «Кристал», що зробила дійсну революцію в шифрувальній справі.
У січні 1931 року були відкриті об'єднані дешифрувально-розвідувальні 3-місячні курси «спецпризначення» для підготовки криптологів дипломатичного та військового напрямів. Начальником курсів був призначений Харкевіч, а викладачами – Зибін, Ямченко, Аронський, Кильдишев. У 1934 році начальником цих курсів був призначений досвідчений криптолог Сергій Григорович Андреєв, який працював у Спецвідділі з 1921 року.
12 лютого 1930 року адміністративна комісія НКЗС розглянула питання про покращення роботи й зміну структури секретаріату колегії та ухвалила виділити зі складу секретаріату секретно-шифрувальний відділ як самостійний відділ та підпорядкувати його безпосередньо одному з членів колегії. 3 березня 1930 року Колегія НКЗС СРСР затвердила це рішення комісії.
У березні 1930 року начальником 1-ої (шифрувальної) частини IV (Розвідувального) Управління Штабу РСЧА був призначений Озолін, а дешифрувальний сектор 8-го відділу Штаба РСЧА був переведений до 5-го відділення Спецвідділу при ОДПУ для забезпечення спільної роботи над шифролистуванням іноземних держав.
У вересні 1930 року 2-й відділ Управління справами НКВМС був реорганізований у 7-ий відділ Штабу РСЧА, а вже 13 жовтня 1930 року – у 8-й відділ Штабу РСЧА. У штабах військових округів і морів шифроргани іменувалися 7-ми відділами, які у лютому 1931 року були перейменовані в військових округах у 8-і відділи, а на морях і флотах – 10-і відділи.
У березні 1931 року у складі IV Управління (з 22 листопада 1934 року – 5 Управління) Штабу РСЧА був утворений 5-й (дешифрувальний) відділ (начальник – Харкевич). Військово-дешифрувальний сектор 5-го відділення Спецвідділу при ОДПУ був переведений до 5-го відділу IV управління Штабу РСЧА.
У зв'язку із збільшенням обсягу та підвищенням значення дешифрувальної роботи у 1932—1933 роках були створені дешифрувальні групи при повноважних представництвах ОДПУ у Києві, Тбілісі, Хабаровську, Ташкенті і Ленінграді, а потім у Читі і Владивостоку. Пізніше ці групи були перетворені у дешифрувальні відділення.
У 1931—1932 роках криптовідділи були утворені вже у всіх військових округах, а до середини 30-х років чисельність криптослужб СРСР у центрі й на місцях досягла приблизно 500 осіб, що цілком відповідало потребам того часу. Склалася досить ефективна система криптослужб, які дешифровували до 30% всієї перехопленої інформації, що було дуже гарним показником для того часу.
У 1932 році було утворене дешифрувальне відділення в Особливій Далекосхідній Армії, а у 1935—1936 роках – у Забайкальському, Середньоазіатському та Київському військових округах. Ці відділення, так само як і в центрі, знаходилися в оперативному підпорядкуванні ОДПУ.
7 червня 1934 року начальник IV Управління (розвідувального) Штабу РСЧА Берзін, куди входила у той час військова дешифрувальна служба, представив наркому з військово-морських справ, голові РВР маршалу Ворошилову доповідь про дешифрувально-розвідувальну службу (ДРС):
«Шифродокументи поступають від 52 країн, проте розробляються спільно із Спеціальним відділом при ОДПУ як тільки документи 22 країн… За 1933 р. при напруженій роботі часом за рахунок передчасного зносу розумових та фізичних сил працівників ДРС розроблено тільки 42% матеріалів, що є для розробки. 58% іноземних шифрованих документів, що можуть дати цінну додаткову інформацію, залишилися необробленими через нестачу кадрів».
У доповіді було висловлено прохання про посилення служби кадрами, зокрема пропонувалося збільшити чисельність кадрового складу на 10 чоловік і перевести 16 чоловік вільнонайманих у адміністративний склад. Не зважаючи на скромність прохань, викладених у доповіді Берзіна, вони не були у 1934 році задоволені, тому відділ продовжував працювати в колишньому чисельному складі.
У 1933 році шифрувальники Спецвідділу при ОДПУ працювали у великій кімнаті на 4-му поверсі обширної будівлі колишньої страхової компанії на вулиці «Лубянка» в Москві. А дешифрувальники займали верхній поверх колишньої будівлі НКЗС на розі вулиць «Лубянка» і «Кузнецкий мост». Той факт, що нижні поверхи будівлі відвідувалися приватними особами і членами дипломатичного клубу, використовувався для маскування.
10 липня 1934 року ОДПУ увійшло до складу НКВС як Головне управління державної безпеки (далі – ГУДБ), а його регіональні органи увійшли до складу регіональних управлінь НКВС. Згідно з цим Спецвідділ ОДПУ був реорганізований у Спецвідділ ГУДБ НКВС.
22 листопада 1934 року було оголошено Ухвалу ЦВК і РНК СРСР про затвердження Положення про Народний комісаріат оборони (далі – НКО), згідно з яким у його склад увійшло Розвідувальне управління (далі – РУ), що раніше входило до складу штабу РСЧА. 15 грудня 1935 року був змінений і затверджений новий штат РУ РСЧА, згідно з яким 5-ий (дешифрувальний) відділ став 7-м відділом, а 1-а (шифрувальна) частина стала таємно-шифрувальним відділенням (іноді іменувалося відділенням «Ш»). Чисельність 7-го відділу складала 53 особи і 5 осіб постійного складу було виділено на Центральні курси ДРС.
Начальником 7-го відділу з лютого 1936 року по лютий 1939 року був полковник Харкевич, а його заступником – майор Звонарьов, який досконало володів чотирма іноземними мовами, трьома європейськими і японською. Начальником відділення «Ш» з січня 1935 року по листопад 1937 року був полковий комісар Озолін, а з вересеня 1938 року по травень 1939 року – майор Микола Олександрович Філатов.
У 1935 році за виконання спеціального завдання командування Звонарьов був нагороджений іменним золотим годинником наркома оборони, а у 1936 році – орденом Червоного Прапора. Річ у тому, що фахівці ДРС спільно з фахівцями Спецвідділу розкрили у жовтні 1935 року японський дипломатичний код, про що доповіли начальнику Розвідувального управління РСЧА С.Г.Урицькому. Останній написав рапорт заступнику наркома Гамарнику, а він, враховуючи важливість події, розпорядився доповісти про це особисто наркому Ворошилову. Ось доповідь Урицького Ворошилову:
«15 жовтня п. р. японський уряд відхилив свій основний код і ввів замість нього новий. Виникла загроза не мати інформації про військові заходи Японії щодо лінії дешифрування японських шифротелеграм у потрібний момент. Помічник начальника… відділу РУ РСЧА т. Звонарьов Б. В. спільно з працівниками його підрозділу тт. Шунгським, Калініним, Мильниковим і працівниками Спецвідділу ГУДБ НКВС тт. Єрмолаєвим і Єрмаковою у мінімально короткий термін, у 6 днів, розкрили вказаний код і забезпечили безперебійне розшифрування японських шифротелеграм. Ці результати досягнуті завдяки систематичній підготовці т. Звонарьовим свого підрозділу до виконання завдань, що стоять перед ним. Безпосередньо при розкритті коду особливо важливу роль зіграли тт. Звонарьов і Шунгський. Клопочу про нагородження цінними подарунками… т. Звонарьова Б. В. і фахівців тт. Шунгського, Калініна і Мильникова…»
На цьому рапорті нарком оборони наклав резолюцію: «Нагородити т. Звонарьова золотим годинником, а решту тт. срібними (хорошими) годинниками. К.В. 27.ХІ.35 р.».
У 1935 році шифрувальники та дешифрувальники Спецвідділу переїхали в нову будівлю на вулиці імені Фелікса Дзержинського. Шифрувальний відділ був розділений на декілька відділень, які займалися забезпеченням секретного зв'язку з регіональними управліннями секретної поліції, з її прикордонними частинами і військовими формуваннями, з адміністраціями в'язниць і таборів, з нелегальною закордонною агентурою і з «легальними» резидентурами за кордоном.
За секретний зв'язок з «легальними» резидентурами відповідало 6-е відділення. Його начальник з прізвищем Козлов був знятий з посади під час репресій у 1937 році. А після того, як наступник Козлова був відправлений шифрувальником до США, начальником 6-го відділення стала людина, чиє ім'я придбало згодом скандальну популярність. Це був Володимир Петров, який у 1954 році разом з дружиною Євдокією отримав політичний притулок в Австралії.
Дешифрувальний відділ був розділений на відділення за географічним і мовним принципом – китайське, японське, англо-американське і так далі. Майбутня пані Євдокія Петрова (Дуся), яка протягом двох років вивчала японську мову в московській спецшколі, працювала в японському відділенні. її колегами по роботі були:
– Віра Плотнікова, дочка професора японської мови, яка протягом багатьох років була резидентом японської розвідки у Москві;
– Галина Підпалова, настільки закохана у все японське, що, прийшовши додому, вона незмінно одягалася в кімоно;
– Іван Калінін, який час від часу запрошувався як консультант;
– професор Шунгський – головний авторитет відділення з питань японської мови, який служив ще в царській армії.
У 1938 році була проведена чергова реорганізація НКВС. В результаті для ведення шифрованого листування у його структурі 9 червня був утворений 3-й спецвідділ, начальником якого став капітан держбезпеки Олександр Дмитрович Баламутов. 29 вересня Спецвідділ ГУДБ НКВС був перейменований у 7-й відділ начальником якого став той же Баламутов. У 1939 році до складу 7-го відділу ГУДБ НКВС було переведене дешифрувальне відділення Розвідувального відділу НКВМФ СРСР, яке було утворене у 1938 році. 9 квітня 1939 року начальником 7-го відділу був призначений капітан держбезпеки Олексій Іванович Копитцев. Станом на 1 січня 1940 року у складі 7-го відділу працювало 230 осіб.
У травні 1939 року був реорганізований і секретно-шифрувальний відділ НКЗС. Шифрувальний відділ був виділений з нього як самостійний відділ з безпосереднім підпорядкуванням заступнику наркома та перейменований у 10-й відділ НКЗС. Найменування посади «шифрувальник» було скасовано та були введені посадові назви «референт», прийняті в оперативних відділах НКЗС.
19 липня 1939 року відповідно до Постанови Комітету Оборони СРСР 8-й відділ ГШ РСЧА був перейменований у Відділ шифрувальної служби і включений на правах самостійного структурного підрозділу до складу Оперативного управління ГШ РСЧА.
У 1939 році у зв'язку з реорганізацією 5-го (розвідувального) Управління НКО шифрувальне відділення стало 9-м відділом, а 7-й (дешифрувальний) відділ став 11-м відділом. Начальником 9-го відділу до жовтня 1939 року був Філатов, а з жовтня 1939 року став майор Леонтій Сергійович Пілєвін. Начальником 11-го відділу з жовтня 1939 року став Філатов.
Наказом НКО СРСР №0038 від 26 липня 1940 року 5-е (розвідувальне) Управління НКО увійшло до складу Генерального штабу (далі – ГШ) Червоної Армії (далі – ЧА) і почало називатися РУ ГШ ЧА. У його складі залишився 9-й (шифрувальний) відділ (начальник – майор Пілєвін), а 11-й (дешифрувальний) відділ став 10-м відділом (начальник – полковник Філатов). 18 серпня 1941 року на базі Відділу шифрувальної служби Оперативного управління ГШ ЧА було створено Управління шифрувальної служби ГШ ЧА загальною чисельністю 197 військовослужбовців і 50 службовців.
Указом Президії Верховної Ради (далі – ПВР) СРСР від 3 лютого 1941 року зі складу НКВС був виділений наркомат державної безпеки (далі – НКДБ). Шифрувально-дешифрувальна справа перейшла до 5-го відділу НКДБ, начальником якого став майор держбезпеки Копитцев. Для ведення шифролистування у складі НКВС наказом №00198 від 22 лютого 1941 року було організовано 6-е відділення, начальником якого став Солодянніков.
Після початку Вітчизняної війни Указом ПВР СРСР від 20 липня 1941 року НКВС і НКДБ були знов об'єднані в єдиний НКВС. Шифрувально-дешифрувальна справа перейшла до 5-го спецвідділу НКВС, начальником якого став майор держбезпеки Іван Григорович Шевельов, а його заступником – старший майор держбезпеки Копитцев. Спецвідділ станом на 20 травня 1942 року мав за штатом 683 одиниці та складався з 16 відділень, завдання яких були такими: