С октября 1917 года перешел в Красную Гвардию, затем в Красную Армию. 7 марта 1919 года вступил в РКП(б) (Членский билет № 239). В Гражданскую войну командир эскадрона, отдельного дивизиона, отдельного кавалерийского полка. 7 ноября 1919 года южнее станции Мангут в схватке с заместителем начальника 15-й Омской Сибирской стрелковой дивизии армии Колчака полковником Вознесенским Николаем Саверяновичем (в мемуарах Рокоссовского ошибочно "Воскресенским") зарубил последнего, а сам был ранен в плечо. 23 января 1920 года Рокоссовский был назначен командиром 30-го кавалерийского полка 30-й дивизии 5-й армии.
Летом 1921 года, командуя красным 35-м кавалерийским полком в бою под Троицкосавском нанёс поражение 2-й бригаде генерала Бориса Петровича Резухина из Азиатской дивизии генерала барона Унгерна фон Штернберга и был тяжело ранен. За этот бой Рокоссовского наградили орденом Красного Знамени.
30 апреля 1923 года женился на Юлии Петровне Барминой. 17 июня 1925 года родилась дочь Ариадна. С сентября 1924 до августа 1925 года – слушатель Кавалерийских курсов усовершенствования командного состава, вместе с Г. К. Жуковым. С 1926 по 1928 год служил в Монголии инструктором в монгольской армии. С января по апрель 1929 года прошёл курсы усовершенствования высшего начального состава при Академии им. М. В. Фрунзе, где познакомился с работами М. Н. Тухачевского. С января 1930 года командовал 7-й Самарской кавалерийской дивизией (одним из командиров бригад в которой был Г. К. Жуков). С введением в 1935 году персональных званий в РККА получил звание комдива.
В 1936 году К. К. Рокоссовский командует 5-м кавалерийским корпусом в Пскове.
27 июня 1937 года был исключен из ВКП(б) "за потерю классовой бдительности". В личном деле Рокоссовского имелась информация, что он был тесно связан с К. А. Чайковским. 22 июля 1937 года уволен из РККА "по служебному несоответствию". М. Н. Тухачевский, В. М. Примаков, Б. М. Фельдман дали показания как на участников военного заговора в РККА на комкора И. С. Кутякова и прочих, тот показал на командарма 2 ранга М. Д. Великанова и прочих, а тот, в числе прочих, показал на К. К. Рокоссовского. Начальник разведотдела штаба ЗабВО дал показания, что Рокоссовский в 1932 году встречался с начальником японской военной миссии в Харбине Мититаро Комацубара.
В августе 1937 года поехал в Ленинград, где был арестован по обвинению в связях с польской и японской разведками, став жертвой ложных показаний. Два с половиной года провёл под следствием (Следственное дело № 25358-1937).
Доказательства строились на показаниях поляка Адольфа Юшкевича, соратника Рокоссовского в гражданскую. Но Рокоссовский-то хорошо знал, что Юшкевич погиб под Перекопом. Он сказал, что всё подпишет, если Адольфа приведут на очную ставку. Стали искать Юшкевича и обнаружили, что он давно умер.
С 17 августа 1937 года по 22 марта 1940 года, согласно справке от 4 апреля 1940 года, содержался во внутренней тюрьме УГБ при НКВД по Ленинградской области на Шпалерной улице. По рассказам жены маршала Казакова, Рокоссовский подвергался пыткам. В этих пытках принимал участие начальник Ленинградского УНКВД Заковский. Рокоссовскому выбили несколько зубов, сломали три ребра, молотком били по пальцам ног, а в 1939 году его выводили во двор тюрьмы на расстрел и давали холостой выстрел. Однако Рокоссовский не дал ложных показаний ни на себя, ни на других. По рассказу правнучки, в своих записях отметил, что враг посеял сомнения и обманул партию – это привело к арестам невиновных. По сведениям полковника юстиции Климина Ф. А., бывшего в числе трех судей Военной коллегии ВС СССР разбиравших дело Рокоссовского, в марте 1939 года состоялся суд, но все свидетели, давшие показания, уже были мертвы. Рассмотрение дела было отложено на доследование, осенью 1939 года состоялось второе заседание, также отложившее вынесение приговора. По некоторым предположениям, Рокоссовский был этапирован в лагерь. Есть версия, что все это время Рокоссовский находился в Испании в качестве военного эмиссара под псевдонимом, предположительно, Мигель Мартинес (из "Испанского дневника" М. Е. Кольцова).
22 марта 1940 года был освобожден в связи с прекращением дела, при ходатайстве С. К. Тимошенко к И. В. Сталину, и реабилитирован. К. К. Рокоссовского полностью восстанавливают в правах, в красноармейской должности и в партии, весну проводит с семьей на курорте в Сочи. В том же году с введением генеральских званий в РККА ему присваивается звание "генерал-майор". Снова командует 5-м кавалерийским корпусом.
Корпус переводился в Киевский особый военный округ, чтобы участвовать в операциях в Бессарабии. На Украине под руководством Жукова уже было тайно создано полевое управление Южного фронта.
26 июня 40-го года Молотов предъявил Румынии ультиматум, после чего немедленно позвонил Риббентропу. По рекомендации рейха румынское правительство приказало своим войскам отойти к новой границе.
28 июня танковые и кавалерийские части перешли границы. Почти все население Бессарабии и Северной Буковины снялось с мест и устремилось на Запад. Тогда для перехвата беженцев были сброшены парашютные части, не пропускавшие спасающихся людей в Румынию и разворачивавшие их обратно.
Позднее Константин Рокоссовский писал: "Опыт, приобретенный в дни этого похода, был очень полезен. Мы, командиры, старались опираться на него, организуя боевую подготовку войск".
Опыта надо было набираться незамедлительно, так как в июле 40-го года, начальник штаба 18-й армии вермахта Эрих Маркс получил от Йодля задание: разработать идею военной кампании против СССР.
Войну с Германией Рокоссовский встретил, по-прежнему командуя 5-м корпусом, который из кавалерийского превратился в танковый.
Корпус сражался под Дубно-Луцком-Бродами. Несмотря на некомплект танков и транспорта, войска мехкорпуса в течение июня – июля 1941 года активной обороной изматывали противника, отступая только по приказу.
В тяжелейшие дни июля 1941 года К. К. Рокоссовский был назначен командующим оперативной группой, призванной предотвратить соединение танковых групп Гота и Гудериана к востоку от Смоленска. Ему выделили группу офицеров, радиостанцию и два автомобиля. Это и была его оперативная группа. Остальное он должен был добирать сам: останавливать и подчинять себе остатки 20-й и 16-й армий, выходивших из смоленского котла и удерживать этими силами коридор между Ярцево и Ельней, не позволяя танковым клиньям немцев сомкнуться.
Маршал вспоминал: "В штабе фронта я ознакомился с данными на 17 июля. Работники штаба не очень-то были уверены, что их материалы точно соответствуют действительности, поскольку с некоторыми армиями, в частности с 19-й и 22-й, не было связи. Поступили сведения о появлении в районе Ельни каких-то крупных танковых частей противника. Эта непростая задача была успешно решена. В короткое время собрали порядочное количество людей. Были здесь пехотинцы, артиллеристы, связисты, саперы, пулеметчики, минометчики, медицинские работники. В нашем распоряжении оказалось немало грузовиков. Они нам очень пригодились". Так началось в процессе боев формирование в районе Ярцево соединения, получившего официальное название "группа генерала Рокоссовского".
Позднее группа Рокоссовского была слита с понесшей тяжелые потери 16-й армией, а Рокоссовский был назначен командующим этой армии. 16-я армия, почти полностью состоявшая из бывших лагерников. До него этим соединением командовал генерал Лукин, тоже в свое время ставший жертвой сталинских чисток. Однако удельный вес танковых частей в его армии был одним из самых высоких в РККА.
16-я армия должна была прикрывать Волоколамское направление к Москве. Там сложилась особенно трагичная ситуация: советских войск не было, дорога на Москву была открыта, а большая часть войск 16 армии была либо переподчинена, либо находилась в окружении. К. К. Рокоссовский перехватывал войска на марше и, как мог, закрывал Волоколамское направление. В его распоряжение поступил отдельный курсантский полк, созданный на базе Московского пехотного училища им. Верховного Совета РСФСР, 316-я стрелковая дивизия генерал-майора И. В. Панфилова, 3-й кавалерийский корпус генерал-майора Л. М. Доватора. Вскоре под Москвой была восстановлена сплошная линия обороны, и завязались упорные бои.
Об этой битве Рокоссовский так написал 5 марта 1948 года: "В связи с прорывом обороны на участке 30-й армии и отхода частей 5-й армии, войска 16-й армии, сражаясь за каждый метр, в жестоких боях были оттеснены к Москве на рубеже: севернее Красная Поляна, Крюково, Истра, и на этом рубеже в жестоких боях окончательно остановили немецкое наступление, а затем перейдя в общее контрнаступление, совместно с другими армиями, проводимое по замыслу товарища Сталина, враг был разбит и отброшен далеко от Москвы".
Под Москвой К. К. Рокоссовский приобрел полководческий авторитет. За битву под Москвой, К. К. Рокоссовский был награждён орденом Ленина. В этот период в 85-м походно-полевом госпитале при штабе армии он познакомился с военврачом 2-го ранга Галиной Васильевной Талановой.
8 марта 1942 года Рокоссовский был ранен осколком снаряда. Ранение оказалось тяжелым – были задеты правое легкое, печень, ребра и позвоночник. После операции в Козельске, был доставлен в московский госпиталь в здании Тимирязевской академии, где проходил лечение до 23-го мая 1942 года. Приехавшая в госпиталь с концертом Валентина Серова влюбилась в него, но генерал не ответил ей взаимностью. 26 мая прибыл в Сухиничи и вновь принял командование 16-й армией. 30 сентября 1942 года генерал-лейтенант К. К. Рокоссовский был назначен командующим Сталинградским фронтом. При его участии был разработан план операции "Уран" по окружению и уничтожению вражеской группировки, наступавшей на Сталинград. Силами нескольких фронтов 19 ноября 1942 года началось проведение операции, 23 ноября кольцо вокруг 6-й армии генерала Ф. Паулюса было замкнуто.
Позже Рокоссовский подвел итог: "…успешно была выполнена задача, связанная с участием войск Донского фронта в общем наступлении, проводимом по замыслу товарища Сталина, вылившаяся в полное окружение всей Сталинградской группировки немцев…"
Руководство по разгрому вражеской группировки Ставка поручила К. К. Рокоссовскому, что являлось проявлением уважения к нему.
31 января 1943 года войска под командованием К. К. Рокоссовского пленили фельдмаршала Паулюса, 24 генерала, 2500 немецких офицеров, 90 тыс. солдат. 28 января он был награждён только что учрежденным орденом Суворова.
Рокоссовский пишет в своей автобиографии: "В феврале 1943 года приказом товарища Сталина назначаюсь командующим Центральным фронтом. Руководил действиями войск этого фронта в великом оборонительном, а затем контрнаступательном сражении, проводимом по замыслу товарища Сталина на Курско-Орловской дуге…"
В феврале – марте 1943 года руководил войсками только что созданного Центрального фронта в Севской операции. Из донесений разведки было ясно, что летом немцы планируют большое наступление в районе Курска. Командующие некоторых фронтов предлагали развивать успехи Сталинграда и провести широкомасштабное наступление летом 1943 года. К. К. Рокоссовский был другого мнения. Он считал, что для наступления нужно двойное, тройное превосходство сил, чего у советских войск на этом направлении не было. Чтобы остановить немецкое наступление летом 1943 года под Курском, необходимо перейти к обороне. Необходимо буквально укрыть в земле личный состав, боевую технику. К. К. Рокоссовский проявил себя блестящим стратегом и аналитиком – на основании данных разведки он сумел в точности определить участок, на котором немцы нанесли главный удар, создать на этом участке глубокоэшелонированную оборону и сосредоточить там около половины своей пехоты, 60 % артиллерии и 70 % танков. Поистине новаторским решением была также артиллерийская контрподготовка, проведенная за 3 часа до начала немецкого наступления. Оборона Рокоссовского оказалась настолько прочной и стабильной, что он смог передать значительную часть своих резервов Ватутину, когда у того на южном фланге Курской дуги возникла угроза прорыва. Его слава уже гремела по всем фронтам, он стал широко известным на Западе, как один из самых талантливых советских военачальников. Очень популярен был Рокоссовский и среди солдат. В составе Центрального фронта в 1943 году был сформирован и вступил в бои 8-й Отдельный штрафной (офицерский) батальон, прозванный немецкой пропагандой "Бандой Рокоссовского".
После Курской битвы Рокоссовский успешно провёл силами Центрального (с октября 1943 года переименованного в Белорусский) фронта Черниговско-Припятскую операцию, Гомельско-Речицкую операцию, Калинковичско-Мозырскую операцию.
В полной мере полководческий талант К. К. Рокоссовского проявился летом 1944 года при проведении операции по освобождению Белоруссии.
Об этом Рокоссовский пишет: "Осуществляя замысел Верховного Главнокомандующего товарища Сталина по разгрому центральной группы немецких войск и освобождению Белоруссии, с мая 1944 года руководил подготовкой операции и наступательными действиями войск 1-го Белорусского фронта…"
План операции разрабатывался Рокоссовским совместно с А. М. Василевским и Г. К. Жуковым. Стратегической изюминкой этого плана было предложение Рокоссовского нанести удар по двум главным направлениям, что обеспечивало охват флангов противника на оперативной глубине и не давало последнему возможности маневра резервами.
Операция "Багратион" началась 22 июня 1944 года.
29 июня 1944 года генералу армии К. К. Рокоссовскому была вручена бриллиантовая звезда Маршала Советского Союза, а 30 июля – первая Звезда Героя Советского Союза. К 11 июля была взята в плен 105-тысячная группировка противника. Когда на Западе усомнились в количестве пленных в ходе операции "Багратион", то И. В. Сталин приказал провести их по улицам Москвы. С этого момента И. В. Сталин стал называть К. К. Рокоссовского по имени и отчеству, такого обращения удостаивался лишь маршал Б. М. Шапошников. Далее войска 1-го Белорусского фронта участвовали в освобождении родной К. К. Рокоссовскому Польши.
Рокоссовский пишет: "В ноябре 1944 года назначаюсь командующим войсками 2-го Белорусского фронта, получив лично от товарища Сталина задачу: подготовить наступательную операцию по прорыву обороны противника на рубеже р. Нарев и разгрому восточно-прусской группировки немцев…"
Командующим 1-м Белорусским фронтом был назначен Г. К. Жуков, и честь взятия Берлина была предоставлена ему.
Рокоссовский спросил у Сталина за что его переводят с главного направления на второстепенный участок. "Сталин ответил, что я ошибаюсь: тот участок, на который меня переводят, входит в общее западное направление, на котором будут действовать войска трех фронтов – 2-го Белорусского, 1-го Белорусского и 1-го Украинского; успех этой операции будет зависеть от тесного взаимодействия этих фронтов, поэтому на подбор командующих Ставка обратила особое внимание. Если не продвинетесь вы и Конев, то никуда не продвинется и Жуков", – заключил Верховный Главнокомандующий.
В качестве командующего 2-м Белорусским фронтом К. К. Рокоссовский провел ряд операций, в которых проявил себя как мастер маневра. Ему дважды приходилось разворачивать свои войска практически на 180 градусов, умело концентрируя свои немногочисленные танковые и механизированные соединения. В результате действий его и соседнего фронта была разгромлена мощная померанская группировка немцев. 1 июня 1945 года Рокоссовскому вручена вторая Звезда Героя Советского Союза.
7 января 1945 года Галина Таланова родила от него дочь Надежду. Рокоссовский дал ей свою фамилию, потом помогал, но с Галиной не встречался. В феврале 1945 года, спустя тридцать лет, Рокоссовский встретил свою сестру Хелену в Польше.
24 июня 1945 года по решению И. В. Сталина К. К. Рокоссовский командовал Парадом Победы в Москве (принимал Парад Победы Г. К. Жуков). А 1 мая 1946 года Рокоссовский принимает парад. С июля 1945 до 1949 года, по приказу Верховного Главнокомандующего, он – создатель и Главнокомандующий Северной группой войск на территории Польши в г. Лигниц, Верхняя Силезия. Налаживал связь с правительством, военными округами Войска Польского, общественными организациями, оказывал помощь в восстановлении народного хозяйства Польши. Были построены казармы, дома офицеров, склады, библиотеки, лечебные учреждения, переданные в дальнейшем Войску Польскому.
В 1949 году польский президент Болеслав Берут обратился к И. В. Сталину с просьбой направить в Польшу для прохождения службы на посту министра национальной обороны поляка К. К. Рокоссовского. Несмотря на длительное проживание в России, Рокоссовский остался поляком по манере и речи, что обеспечило благосклонность большинства поляков. В 1949 году городские народные советы Гданьска, Гдыни, Картуз, Сопота, Щецина и Вроцлава постановлениями признали Рокоссовского "Почетным гражданином" своих городов, которые войска под его командованием освободили во время войны. Однако некоторые газеты и западная пропаганда усиленно создавали ему репутацию "московита" и "наместника Сталина". В 1950 году на него дважды было совершено покушение польскими националистами, в том числе из кадров польской армии, состоявших ранее в Армии крайовой.
В 1949–1956 годах он проделал большую работу по перевооружению, структурной реорганизации польской армии (сухопутные моторизованные войска, танковые соединения, ракетные соединения, войска ПВО, авиация и Военно-Морской флот), подъему обороноспособности и боеготовности в свете современных требований (угроза ядерной войны), сохранив её национальное своеобразие. Согласно интересам армии в Польше были модернизированы пути сообщения и связь, создана военная промышленность (артиллерия, танки, авиация, другая техника). В апреле 1950 введен новый Устав внутренней службы Войска Польского. Обучение строилось на основе опыта Советской Армии. Рокоссовский постоянно посещал военные части и манёвры. Для обучения офицеров были открыты Академия Генерального штаба им. К. Сверчевского, Военно-техническая академия им. Я. Домбровского и Военно-политическая академия им. Ф. Дзержинского. Также работал заместителем председателя Совета Министров Польши, был членом Политбюро ЦК Польской объединённой рабочей партии. 14 мая 1955 года присутствовал при подписании Договора о дружбе, сотрудничестве и взаимной помощи в Варшаве.