Граф Пален свое слово сдержал. Вскоре после беседы с Кони он перевел его на службу в столицу. 18 февраля 1870 года Кони получил должность товарища прокурора Санкт-Петербургского окружного суда. В последующие годы министр постепенно переводил Кони на все более ответственные посты. 26 июня того же года министр назначает его на должность самарского губернского прокурора, но уже менее чем через месяц переводит прокурором Казанского окружного суда. Поставив Кони на самостоятельную должность, граф Пален не упускал его из виду. В июне 1871 года он лично ревизовал судебные установления в Казани, внимательно ознакомился с их работой, побывал в окружном суде во время проведения процесса над неким Нечаевым, обвинявшимся в убийстве из корыстных побуждений. Обвинение поддерживал А. Ф. Кони. Граф Пален остался доволен и организацией процесса и обвинительной речью прокурора.
Вскоре после этого Кони становится прокурором Санкт-Петербургского окружного суда. В этой должности он прослужил четыре года. Он поддерживал обвинение по многим уголовным делам, выдвинувшись в число лучших судебных ораторов России. В судебных процессах ему часто противостояли такие знаменитые адвокаты, как В. Д. Спасович, К. К. Арсеньев, А. М. Унковский и другие. Многие обвинительные речи Кони стали публиковаться в печати.
Судебные его речи всегда отличались высоким психологизмом, основанном на почве всестороннего изучения индивидуальных особенностей каждого преступного деяния. Он старательно выяснял характер обвиняемого и только составив ясное представление о том, "кто этот человек", представший перед судом, переходил к изысканию мотивов совершения преступления. Своими четкими, продуманными вопросами, он как бы анатомировал людей и заставлял их полностью раскрываться. Мотивы преступления, как признак, свидетельствующий о внутреннем душевном состоянии человека, всегда получали в глазах Кони особенное значение. Он заботился не только об установлении юридической, но и нравственной ответственности подсудимых. Сама форма речей Кони была проста, в ней не присутствовали никакие риторические украшения. Отношение его к подсудимым и вообще всем участникам процесса было гуманным и доброжелательным. Ему были чужды злоба или ожесточение. В то же время это не было проявлением слабости или безволия. Из его уст нередко звучала суровая оценка деяниям и лицам. Но как никому другому ему было присуще чувство меры. К. К. Арсеньев отмечал, что дар психологического анализа соединен в нем с темпераментом художника. Своими речами Кони не столько увлекал, сколько убеждал, причем в его речах присутствовали красивые сравнения, обобщения, меткие замечания.
Впоследствии Анатолий Федорович писал: "Через 48 лет по оставлении мною прокурорской деятельности, я спокойно вспоминаю свой труд обвинителя и думаю, что едва ли между моими подсудимыми были люди, уносившие с собою, будучи поражены судебным приговором, чувство злобы, негодования или озлобления против меня лично. В речах моих я не мог, конечно, оправдывать их преступного дела и разделять взгляд, по которому все понять - все простить, или безразлично "зреть на правых и виноватых". Но я старался понять, как дошел подсудимый до своего злого дела, и в анализ совершенного им пути избегал вносить надменное самодовольство официальной безупречности".
Деятельность Кони в качестве прокурора Санкт-Петербургского окружного суда была многообразной и разносторонней. Она не ограничивалась лишь участием в судах. Он умело руководил подчиненным ему аппаратом. Анатолий Федорович впервые стал практиковать проведение в своей "камере", то есть кабинете, "вечерних заседаний", на которые приглашал подчиненных. Вначале это вызывало недопонимание и даже протесты некоторых его товарищей, так как они считали, что незачем тратить время там, где все вопросы могут разрешаться единоличной властью. Вскоре полезность таких совещаний стала для всех очевидной. На них вырабатывались положения, опираясь на которые товарищи прокурора давали единообразные заключения в распорядительных и судебных заседаниях. Да и сам окружной прокурор не раз заявлял в суде, что его мнение "подкреплено постановлением общего собрания товарищей".
Когда в 1874 году граф Пален, не удовлетворенный деятельностью суда присяжных, стал "подкапываться" под него и потребовал от прокуроров представления сведений о числе оправдательных приговоров, вынесенных присяжными, Кони использовал совещание для выработки согласованных действий. По результатам обсуждения он издал циркуляр, в котором предлагал своим подчиненным искать причины оправдательных приговоров в фактических обстоятельствах каждого конкретного дела, не входя при этом в оценку "организации судебных учреждений и правильности деятельности их отдельных органов".
За время службы в качестве прокурора Санкт-Петербургского окружного суда Кони достиг чина коллежского асессора и был награжден орденом Святого Владимира 4-й степени.
В июле 1875 года Кони становится вице-директором департамента Министерства юстиции. Граф К. И. Пален, назначая Кони, сказал, что ему нужна в министерстве "судебная совесть". Кони становится одним из ведущих сотрудников министерства, участвует во всех совещаниях у графа Палена. Он получает новые чины, сначала надворного советника, затем коллежского советника. Его имя приобретает известность при Высочайшем дворе. В 1875 году он вошел в Совет управления учреждений великой княгини Елены Павловны, затем стал членом Высочайше учрежденной комиссии для исследования железнодорожного транспорта в России.
В качестве профессора Кони начинает читать лекции по уголовному судопроизводству в Императорском училище правоведения (с 1876 по 1883 год). В 1876 году он стал одним из учредителей юридического общества при Санкт-Петербургском университете. С самого начала своей прокурорской деятельности он активно сотрудничал в "Журнале Министерства юстиции", "Правительственном вестнике", "Русской старине", "Вестнике Европы" и других периодических изданиях.
29 апреля 1877 года Кони назначается директором департамента Министерства юстиции. В июне того же года определением Правительствующего сената он утверждается почетным мировым судьей по Санкт-Петербургу.
24 декабря 1877 года Анатолий Федорович возглавил Санкт-Петербургский окружной суд. В этом качестве ему пришлось 31 марта 1878 года председательствовать на известном процессе В. Засулич, стрелявшей в градоначальника Трепова. Несмотря на явно политическую подоплеку этого преступления, прокурор Санкт-Петербургской судебной палаты А. А. Лопухин убедил министра юстиции вести дело как обычное уголовное, передав по окончании на рассмотрение суда присяжных.
Незадолго до суда граф Пален вдруг забеспокоился. Он пригласил к себе Кони и прямо спросил его, может ли он ручаться за вынесение обвинительного приговора. Тот откровенно сказал, что не может. Ответ возмутил Палена. "Не можете? Ну, так я доложу государю, что председатель не может ручаться за обвинительный приговор; я должен это доложить государю!" Кони сказал, что он также настаивает на этом. Однако такой доклад не состоялся - Пален на него не решился.
Накануне процесса министр еще раз встретился с Кони. "Ну, Анатолий Федорович, - начал он, - теперь все зависит от вас, от вашего умения и красноречия". На это Кони резонно заметил, что "умение председателя состоит в беспристрастном соблюдении законов, а красноречивым он быть не должен, ибо существенные признаки резюме - бесстрастие и спокойствие".
Граф Пален намекнул, что Кони мог бы повлиять на присяжных, которые "сделают все, что он скажет". Анатолий Федорович опять возразил, сказав, что "влиять на присяжных должны стороны", это их "законная роль". Тогда министр, хитро подмигнув, произнес: "Знаете что? Дайте мне кассационный повод на случай оправдания". На такое предложение Кони, с присущей ему достоинством, ответил: "Ошибки возможны и, вероятно, будут, но делать их сознательно я не стану, считаю это совершенно не согласным с достоинством судьи".
В. И. Засулич была судом оправдана. Встретив Кони после суда, граф Пален смог только заметить: "Ну, вот, видите, каковы они, ваши присяжные! Ну, уж пусть теперь не взыщут, пусть не взыщут!".
Вскоре после окончания процесса началась самая настоящая травля Кони. Через несколько дней после суда министр юстиции пригласил его к себе, говорил с ним раздраженно, упрекал в "вопиющем нарушении обязанностей", в "оправдательном резюме" и т. п. В заключение сказал: "Уполномочьте меня доложить государю, что вы считаете себя виновным в оправдании Засулич и, сознавая свою вину, просите об увольнении от должности председателя". Кони ответил, что он "не согласен ни на какие компромиссы".
Обстановка, сложившаяся после оправдания Засулич, обсуждалась в Комитете министров, проходившем под председательством императора Александра II. На нем граф Пален по существу отдал Кони "на растерзание без малейшей попытки сказать хоть слово в разъяснение роли председателя на суде присяжных". Он даже заявил, что "не отвечает за своих судей". Министр государственных имуществ П. А. Валуев также пытался доказать, что Кони - главный виновник оправдания Засулич. Единственным человеком, не разделявшим поспешных обвинений против Кони, был военный министр Д. А. Милютин.
Уволить Анатолия Федоровича, пользовавшегося правом несменяемости, не решились. Вскоре новым министром юстиции стал Д. Н. Набоков. В министерстве он сразу же попал в атмосферу, "полную мстительной неприязни" к Кони. Министр не смог сразу же понять своего талантливого сотрудника, поэтому отношения у него с Кони были вначале довольно натянутыми. Принимая Кони, Набоков сказал, что государь, хотя и не потребовал от него непременно отставки председателя Санкт-Петербургского окружного суда, но "вспоминал о деле с упреком". Относительно же резюме Кони перед уходом присяжных в совещательную комнату, Набоков заметил, что "председатель суда разжевал и положил в рот присяжным оправдание Засулич". Эти слова вызвали протест со стороны Кони, заявившего, что в необъективности его не обвинял даже граф Пален.
После столь резкого разговора, отношения Кони с министром стали "взаимно холодными". Министерство при случае всегда старалось дать понять "неугодность" Кони - представления председателя суда о наградах и пособиях свои подчиненным демонстративно "не уваживались", а его самого иногда назначали в такие комиссии, в которых, по словам Кони, "присутствие живого юриста звучало какою-то насмешкою над ним" и т. п.
Так продолжалось до тех пор, пока не произошло одно событие, заставившее Д. Н. Набокова изменить свое отношение к Кони.
В январе 1879 года под председательством Кони в Санкт-Петербургском окружном суде слушалось дело Юханцева о растрате двух с половиной миллионов рублей Общества взаимного кредита. Процесс был трудный и шел уже несколько дней. Набоков лично пришел в суд, чтобы послушать резюме председателя. 25 января, когда перед самым своим выступлением Кони шел в зал, судебный пристав подал ему записку, в которой сообщалось, что умирает его отец, долго и тяжело болевший. Отложить заседание Кони не мог. От волнения он даже изменился в лице. Это заметил Набоков, который спросил, что случилось. В ответ Анатолий Федорович молча подал ему записку и открыл заседание. Когда он закончил свое двухчасовое резюме и отпустил присяжных совещаться, Набоков был неузнаваем. Вот как описывает это событие сам Кони: "Он крепко сжал мою руку и сказал мне, что слышав в свое время резюме лучших председателей за границей, он не предполагал, что можно дойти до такого совершенства, которое я проявил, несмотря на тяжкие мысли, которые должны были меня осаждать, и что он считает своим долгом высказать мне свою радость, что имел случай лично меня узнать. И, действительно, с этих пор понемногу лед между нами растаял, хотя и были случаи довольно неприятных разговоров".
В октябре 1881 году, когда Кони находился за границей на лечении, он неожиданно получил телеграмму от министра юстиции Д. Н. Набокова с предложением занять пост председателя департамента столичной судебной палаты. Обоснованно полагая, что речь может вестись только об уголовном департаменте и не чувствуя никакого подвоха, он согласился. Однако когда он прибыл в Санкт-Петербург, то с удивлением узнал, что 21 октября состоялось его назначение в гражданский департамент. Кони был настолько обескуражен этим, что даже подумывал об отставке. Министру юстиции стоило больших трудов отговорить его от такого шага. Гражданскими делами Кони никогда раньше не занимался, поэтому, будучи исключительно добросовестным юристом, он почти сутками находился на работе, вникая во все тонкости договоров, обязательств, права наследования и собственности и т. п., и вскоре почувствовал себя вполне теоретически подготовленным к гражданскому судопроизводству.
И все же гражданские дела, это не уголовные. Однообразие практики стало его утомлять, а старики, сидевшие в департаменте, "застывшие в рутине и болезненно самолюбивые" действовали на него удручающим образом. В 1883 году за отличие по службе он был произведен в действительные статские советники. Но даже это радовало мало. Деятельной натуре сорокалетнего юриста нужен был простор. Масло в огонь подливали друзья, которые уговаривали Кони оставить службу и уйти в адвокатуру, намекая, что министерство, отняв у него "живое слово", обрекло его способности на "преждевременное увядание".
Министр юстиции Д. Н. Набоков не забыл своего обещания при случае перевести Кони вновь на уголовные дела. В конце 1884 года он внес императору предложение о назначении Кони обер-прокурором уголовного кассационного департамента Правительствующего сената. Когда об этом стало известно обер-прокурору Святейшего Синода К. П. Победоносцеву, то он немедленно обратился с письмом к Александру III: "Я протестовал против этого назначения, - говорилось в нем, - но Набоков уверяет, что Кони на теперешнем месте несменяем, тогда как обер-прокурором при первой же неловкости или недобросовестности может быть удален со своего места… Назначение это произвело бы неприятное впечатление, ибо Вам памятно дело Веры Засулич, а в этом деле Кони был председателем и выказал крайнее бессилие. А на должности обер-прокурора кассационного департамента у него в руках будут главные пружины уголовного суда России".
30 января 1885 года Анатолий Федорович все же назначается обер-прокурором уголовного кассационного департамента Правительствующего сената. Он пробыл на этой должности до 1897 года (в 1891–1892 годах временно был сенатором). За это время Кони дано почти 700 заключений по различным делам, а в качестве прокурора он выступил во многих процессах (по делам князей Щербатова и Мещерского, земского начальника Протопопова и др.).
По словам Кони, он стремился придать обер-прокурорской деятельности "влиятельный и благотворный характер". И ему это в полной мере удалось. Его заключения стали появляться в печати, на заседания кассационного департамента "повалила" публика. Да и сами сенаторы, сначала встретившие Кони чуть ли не враждебно, стали все чаще и чаще прислушиваться к его мнению. Кони писал, что в последние пять лет его обер-прокурорства не было случая, когда Сенат с ним бы не согласился, несмотря на то, что он давал заключения каждый вторник по всем делам, вносимым в департамент, исключая питейных, лесных и строительных. Кони частенько приходилось "воевать" с сенаторами, ломая застарелую практику, особенно по делам о клевете в печати и о преступлениях против веры.
В 1888 году по Высочайшему повелению Кони был командирован в Харьков для расследования причин крушения царского поезда, произошедшего 17 октября недалеко от станции Борки. В результате катастрофы погибли 19 человек, ранено - 14. Члены царской семьи, по счастливой случайности, не пострадали. В изорванной одежде, перепачканные они благополучно выбрались из искореженных вагонов. Александр III, проявляя самообладание и выдержку, сразу же отдал необходимые распоряжения об оказании помощи пострадавшим.
Следствие продолжалось три месяца, его материалы составили четыре больших тома, не считая многочисленных приложений. Все трудности и тяготы по "громадному и сложному следствию" Анатолий Федорович разделил с судебным следователем по особо важным делам Харьковского окружного суда Николаем Ивановичем Марки и прокурором того же суда Николаем Андреевичем Дублянским. О всех следственных действиях Кони регулярно докладывал сменившему Набокова новому министру юстиции Н. А. Манасеину в шифрованных телеграммах. Все же свои предложения, сомнения, наблюдения он излагал в частных письмах к нему. Докладывая императору о деле, министр однажды сослался на одно из таких писем, а впоследствии по просьбе Александра III, давал их ему на прочтение, не решившись сообщить об этом Кони.
Спустя месяц после начала следствия Манасеин вызвал Кони в Петербург для "представления государю личных объяснений по делу". Анатолий Федорович начал свой доклад с сообщения о том, что в результате предварительного расследования не установлено следов какого-либо террористического акта. Затем он изложил свои выводы о виновности должностных лиц, причастных к трагедии. По его словам, все они проявили "преступную небрежность к поезду чрезвычайной важности". Закончил свой доклад Кони сообщением о "хищнических действиях" правления при эксплуатации железной дороги, стремлении любым путем к наживе, безответственности служебного персонала и попустительстве всему этому со стороны Министерства путей сообщения. "Итак, ваше мнение, что здесь была чрезвычайная небрежность?" - спросил император. "Если характеризовать все происшествие одним словом, независимо от его исторического и нравственного значения, - ответил Кони, - то можно сказать, что оно представляет сплошное неисполнение всеми своего долга".
Император поблагодарил Анатолия Федоровича за проведенную работу и интересный доклад и пожелал успехов в завершении дела.
Н. А. Манасеин был очень доволен тем, как прошел доклад. Он сказал Кони: "Я наблюдал, как он вас слушал; можно ручаться, что он не позабудет ни одного слова, и я думаю, что вас лично можно поздравить с забвением всего того, что так вас долго и несправедливо удручало".
Вернувшись в Харьков, Кони с участием следователя Марки и прокурора Дублянского предъявил обвинение некоторым должностным лицам дороги, а затем, в начале 1889 года выехал в Петербург.