Отбыв каторгу и ссылку, не имея возможности жить на родине, Юзеф Калиновски выехал в Париж, затем в Австрию, где в 1877 г. вступил в Братство кармелитов, приняв монашеское имя Рафал. Пять лет спустя он был рукоположен в сан священника и избран приором монастыря кармелитов в местечке Черная близ Кракова: "На прочном фундаменте молитвы и самоотречения, он воспринял апостольскую миссию, направленную на духовное освобождение своих угнетенных сограждан, в то время как они боролись за политическое и религиозное освобождение. Он оказал сильное влияние на возрождение польских кармелитов. Особое значение он придавал таинству покаяния, фактически, он провел так много времени, выслушивая исповеди, что в итоге был назван "мучеником исповедальни". Он умер в Вадовицах 15 ноября 1907 г.
В ноябре 1991 г. папа Иоанн Павел II канонизировал отца Рафала Юзефа Калиновского - "воплощение польского патриотизма и католицизма". Так в историческом списке брестского гарнизона наряду с генералами, писателями и героями войн появился свой святой - покровитель военных).
Царство Польское было переименовано в Привислинский край, последние остатки местной автономии упразднены, польский элемент выведен из администрации.
В Брест-Литовской крепости в качестве постоянного гарнизона появился крепостной пехотный полк, для размещения отдельных его подразделений пришлось приспособить здание арсенала. На своем месте в бывшем монастыре бригиток осталась арестантская, теперь уже военно-исправительная рота. В апреле 1863 г. специальным императорским указом в армии отменили "прогнание" через строй и шрицрутены. Однако штрафники могли быть подвергнуты телесным наказаниям "в объеме" не более 50 розог.
Во время подавления январского восстания в крепости содержались "бунтовщики", например комиссар Подляшского отряда Роман Рогински. Здесь же приводились в исполнение смертные приговоры. Виселица во дворе тюрьмы, прозванной в народе "Бригитки", стояла на протяжении 30 лет. Гарнизон крепости ввиду слабой подготовки в боях с восставшими участия не принимал в отличие от квартировавших в Бресте частей 3-й пехотной дивизии: 11-го пехотного Псковского генерал-фельдмаршала князя Кутузова - Смоленского полка и 32-го Донского казачьего полка. Командир последнего полковник Г.А. Леонов имел отличия "за усмирение польского мятежа" и исполнял обязанности Брестского уездного военного начальника.
В 1867 г. гарнизон крепости состоял из одного генерала, двадцати штаб-офицеров, семидесяти девяти обер-офицеров, тридцати двух классных чинов, двух священников. Здесь находились 3588 нижних чинов и 672 арестанта. Управление было представлено комендантом "по полевой пешей артиллерии" генералом И.Е. Штаденом, "состоявшим по армейской пехоте" полковником А.П. Борисовым, плац-майором и двумя плац-адъютантами.
Крепость уже не вполне соответствовала своему назначению. На вооружение была принята нарезная артиллерия, дальнобойность, точность и разрушительное действие которой значительно превышали возможности гладкоствольных пушек. Это нужно было учитывать при строительстве фортификационных сооружений. Поэтому в 1862 г. директор Главного инженерного управления генерал-адъютант Э.И. Тотлебен представил военному министру Д.А. Милютину записку, в которой предлагалось завершить строительство крепостных укреплений в европейской части России и обеспечить их дополнительными мерами защиты от огня, особенно навесного. В частности, Тотлебен указывал на то, что высокие каменные казармы и многоярусные башни являются отныне лишь хорошими целями, неспособным эффективно противостоять осадной артиллерии, и рекомендовал прикрывать каменные постройки гласисами, разбирать верхние ярусы казематов и укрывать их толщей земли. Для реализации этих задач генерал предлагал в течение 16 лет выделять до 3 миллионов рублей ежегодно. Предложения Тотлебена рассматривались в особом комитете. Денег в империи не хватало, поэтому комитет постановил новых работ в крепостях не предпринимать, а ограничиться приведением в исправность и готовность существующих сооружений. Таким образом, в соответствии с этим решением все русские сухопутные крепости оставались в недостроенном виде, с высокими каменными постройками, неприкрытыми от разрушительного действия нарезной артиллерии.