Брест вновь поднимался из пепла и вновь оказывался на пути завоевателей.
В 1654 г. варшавский сейм принял специальную декларацию о срочном восстановлении брестских укреплений. Деревянные стены замка планировалось заменить пятью оборонительными сооружениями бастионного типа. Горожане были освобождены от общественных налогов, деньги шли с Брестской королевской экономии. Отсюда же набирали людей для фортификационных работ. К строительству привлекались все жители без исключения, включая духовенство. Руководил работами присланный королем инженер, однако дело двигалось медленно и так и не было доведено до конца ввиду последовавшей череды нашествий, которые в польской истории получили название «Потоп».
В ходе русско-польской войны 16541667 гг. и развязанной Швецией войны против Речи Посполитой и России Брест-Литовск неоднократно оказывался в полосе военных действий. Спор славян между собою отличался особой жестокостью. Московитами война велась в первую очередь за территории и материальные ценности, население уничтожалось практически поголовно. Указ тишайшего «московского царя православного» Алексея Михайловича прямо требовал: «Унии не быть, латинству не быть, жидам не быть». Почти полностью были вырезаны жители Витебска, Слонима, Мира, Вильно, Пинска и других городов. Виленский епископ Юрий Тышкевич позднее писал: «Не было пощады ни возрасту, ни полу; все места были залиты кровью убитых и трупами, особенно Бернардинский костел, куда в поисках убежища собралось особенно много людей».
Осенью 1655 г. Новгородской полк русской армии под командованием князей С.А. Урусова и Ю.Н. Барятинского, имевших царскую инструкцию польские города «воевать и разорять», а со шведами «отнюдь не задиратца», совершил поход от Ковно на Брест, но был остановлен войском гетмана П.Я. Сапеги в 25 верстах от города. В сражении у деревни Верховичи поляки 17 ноября потерпели поражение, однако штурмовать укрепленный город, в котором находился сильный гарнизон, русские воеводы не решились. В следующем году под стенами Бреста впервые появились шведы, но и они отступили.
В мае 1657 г. Брест-Литовск не выдержал осады объединенной армии шведского короля Карла X Густава, Семиградского князя Ракоши и украинских казаков и был ими захвачен. По одной из версий, это стало возможным из-за измены наемной немецкой пехоты, перешедшей на службу шведскому королю, по другой противник овладел городом «через трактат», т. е. заставив гарнизон сдаться на определенных условиях. Город был разграблен и большей частью сгорел. Король шведский по достоинству оценил стратегическое положение Бреста и даже планировал основать здесь укрепленный лагерь. Но в это время против Швеции выступила Дания, в связи с чем Карл X срочно покинул Брест. Тогда Павел Сапега приказал Михаилу Радзивиллу, подчашему Великого княжества Литовского, собрать отряд добровольцев и произвести диверсию с целью захвата Брестской фортеции, в которой находился вражеский гарнизон численностью до 600 человек. Операцию готовили в обстановке секретности. Сапега приказал все тщательно разведать и, выбрав нужное время, «учинить эксперимент: спешив людей, подобраться, как можно тишечтобы никто и пера не уронил», а затем атаковать укрепления, захватив противника врасплох. Рейд прошел удачно. 20 августа гетман личным письмом поблагодарил Радзивилла и его отряд, состоявший из обывателей Брестского воеводства, как от своей «персоны, так и от всей Речи Посполитой за совершенный труд при отобрании Бреста, за что все Отечество должно отплатить благодарностью».
В опустошенном и разграбленном Брест-Литовске начали восстановление укреплений. Для завершения строительства сейм Речи Посполитой выделил в 1658 г. 10 миллионов злотых и планировал поставить необходимое для обороны количество пороха, ядер и оружия. Гетман Великого княжества Литовского получил наказ содержать здесь столько пехоты, сколько будет нужно. Реальные обстоятельства делали подобные декларации лишь благими пожеланиями. Не случайно в следующем году Варшавский сейм лишь продублировал ранее принятое постановление о брестских укреплениях.
8 января 1660 г. московские войска под командованием воеводы И.А. Хованского по льду подошли к укреплениям города и взяли их внезапным приступом. После этого еще пять суток велась осада замка, завершившаяся успешным ночным штурмом и гибелью защитников. Хованский стоял в Бресте до весны, посылая оттуда ратных людей в глубь Польши. В занятом городе воеводе пришлось восстанавливать укрепления для защиты собственных войск. В донесении царю Алексею Михайловичу он сообщал, что «Брест верхний город укрепил я накрепко, сверх старых крепостей по земляному городу нарубил тарасы в 2 стены рублены, а вышиною 2 сажени, а в иных местах и в 2,5, а хлебных запасов года на два будет тем людям, которые оставлены, а соли и пушечных всяких запасов гораздо много, сидеть в верхнем городе бесстрашно от неприятеля, а большого города занять некем, надобеть посадить тысячи 4, а на меньшую статью 3000, и то будет неприятелю страшно».
Однако в результате Оливского мира между Швецией и Речью Посполитой, высвободившего значительные воинские силы последней, Хованский был вынужден оставить Брест. В 1661 г. в город вновь вошли польско-литовские войска. К этому времени Брест-Литовск был «весь до последнего строения разорен и сожжен», населения осталось «очень малая горсточка», погибли все члены магистрата, сгорели все архивы.
Для восстановления крепости город на четыре года был освобожден от всех налогов. Вновь отстраивались костелы и жилые дома, в 16651666 гг. работал даже монетный двор. Но в 1706 г. в разгар Северной войны шведские войска под командой генерала Мейерфельда захватили и разграбили Брест-Литовск, в котором размещались провиантские склады русской армии. Крепость, не выдержав осады, капитулировала. Шведская оккупация продолжалась почти шесть лет.
В результате долгих и разорительных войн, сопровождавшихся голодом и эпидемиями, Брест-Литовск пришел в упадок. Его население к середине XVHI в. составляло 1800 человек, замковые укрепление были разрушены.
Во второй половине XVHI в. Речь Посполитая, истощенная беспрерывными нашествиями, переживала тяжелый политический и экономический кризис. Государственные структуры не обладали реальной властью. Другие державы бесцеремонно вмешивались во внутренние дела страны. Шляхетство, забыв о национальных интересах, срывало сеймы и собиралось в конфедерации, магнатов не интересовало ничего, кроме укрепления личной власти. Польско-литовское дворянство, увлеченное борьбой за «вольности», бойкотировавшее любые реформы, разделившееся на враждебные группировки, непринужденно обращавшееся к иностранной помощи, в итоге развалило государство, чем не преминули воспользоваться соседи.
5 августа 1772 г. последовал первый, частичный, раздел Речи Посполитой между Австрией, Пруссией и Россией, а 12 января 1793 г. второй. Началась интервенция трех держав. Российская империя ввела оккупационные войска под предлогом освобождения украинских и белорусских земель от польского гнета. Заодно были «освобождены» латышские и литовские земли. В марте 1794 г. польские патриоты, стремившиеся сохранить суверенитет и целостность страны, подняли восстание, которое возглавил герой борьбы за независимость североамериканских колоний бригадный генерал Тадеуш Костюшко, провозглашенный диктатором и главнокомандующим национальными вооруженными силами. Применяя партизанскую тактику, инсургенты, пользовавшиеся поддержкой населения, действовали дерзко, стремительно и инициативно. Русские регулярные отряды их «повсюду били и гоняли, а из того ничего не выходило». Военные действия затягивались.
Для скорейшего решения проблемы императрица Екатерина II отозвала из Финляндии генерал-аншефа А.В. Суворова и в августе назначила его начальником небольшого войска с ближайшей задачей занять Брест-Литовск и устроить там магазины для армии. 6 сентября 1794 г. недалеко от Кобрина произошло сражение между шеститысячным отрядом под предводительством генерала Кароля Сераковского и корпусом А.В. Суворова, насчитывавшим 12 тысяч человек. Повстанцы потерпели поражение, а два дня спустя были настигнуты под Брестом и наголову разбиты. В город вступили русские войска. А.В. Суворов этим успехом, как и ожидалось, не ограничился. Получив подкрепление и объединив под своим командованием около 30 тысяч бойцов, он 24 октября взял штурмом Прагу предместье Варшавы на правом берегу Вислы, что привело к капитуляции столицы и ликвидации главного очага сопротивления. Попавший в плен «опасный смутьян, бунтовщик и вольнодумец» Костюшко был заключен в Петропавловскую крепость. Король Станислав-Август, кстати, уроженец Брестчины, отрекся от престола. А.В. Суворов за польскую кампанию получил звание фельдмаршала.
Для скорейшего решения проблемы императрица Екатерина II отозвала из Финляндии генерал-аншефа А.В. Суворова и в августе назначила его начальником небольшого войска с ближайшей задачей занять Брест-Литовск и устроить там магазины для армии. 6 сентября 1794 г. недалеко от Кобрина произошло сражение между шеститысячным отрядом под предводительством генерала Кароля Сераковского и корпусом А.В. Суворова, насчитывавшим 12 тысяч человек. Повстанцы потерпели поражение, а два дня спустя были настигнуты под Брестом и наголову разбиты. В город вступили русские войска. А.В. Суворов этим успехом, как и ожидалось, не ограничился. Получив подкрепление и объединив под своим командованием около 30 тысяч бойцов, он 24 октября взял штурмом Прагу предместье Варшавы на правом берегу Вислы, что привело к капитуляции столицы и ликвидации главного очага сопротивления. Попавший в плен «опасный смутьян, бунтовщик и вольнодумец» Костюшко был заключен в Петропавловскую крепость. Король Станислав-Август, кстати, уроженец Брестчины, отрекся от престола. А.В. Суворов за польскую кампанию получил звание фельдмаршала.
В октябре 1795 г. последовал третий раздел Речи Посполитой, в результате которого она исчезла с политической карты мира. Поморье, Центральную Польшу с Варшавой получила Пруссия, Галицкие земли с Львовом и Галичем и Южная Польша с Люблином и Краковом отошли Австрии. К России были присоединены земли Великого княжества Литовского, Левобережная Украина, Волынь, Беларусь.
Брест-Литовск вместе с другими белорусскими городами вошел в состав Российской империи и вновь оказался на границе. За Бугом теперь лежали австрийские земли. Год спустя Брест стал уездным городом Слонимской, затем Литовской и Гродненской губернии.