Русско-польская война 1654 – 1667 г. г. принесла Орше разрушения и пожары. В том числе были сожжены деревянные здания коллегиума иезуитов. Он был вновь открыт в 1664 г. В этом же году была открыта временная каплица для богослужений и продолжалось обновление костела святого Михаила.
Огромный урон нанес и пожар 1680 г., который опять уничтожил и коллегиум, и школу, и каплицу с недостроенным костелом, и строительные материалы – подарок Казимира Сапеги. Сгорела и библиотека, которую начали собирать заново. Школа возобновила свою работу в том же году.
В 1690 г. по фундации короля Яна Собесского начинает строиться каменный двухэтажный коллегиум и костел. Но окончание этого строительства относится к более позднему времени опять-таки в силу военных событий и разрушений 1708 г., когда Орша была сожжена российскими войсками Петра I в ходе Северной войны.
Деятельность пятиклассной школы иезуитов была приостановлена с 1709 г. по 1713 г. еще и по причине эпидемии. Но постепенно жизнь монастыря вернулась в свое русло. Восстанавливаются здания, возрождается достаточно обширная хозяйственная часть. В 1768 г. новый каменный костел был освещен во имя Архангела Михаила.
В 1773 г. специальной буллой папы римского орден Иисуса был запрещен. Но российская императрица Екатерина II запретила оглашать ее на территории России, и иезуиты продолжали свою деятельность. В 1786 г. начинается и в 1788 г. заканчивается строительство каменного здания школы и бурсы. Именно эти здания и составляют основную часть архитектурного комплекса коллегиума, сохранившегося доныне.
Год 1812 стал годом разорений и опустошений для нашего города. 7 ноября 1812 г. в Оршу из Дубровно вместе с отступающими войсками и 6-титысячной гвардией прибыл император Наполеон Бонапарт, который разместился со своим штабом в иезуитском монастыре. Уже на следующий день 8 ноября, после непродолжительной артиллерийской перестрелки с российскими войсками через Днепр, французские войска во главе со своим императором покинули Оршу, а корпус генерал Нея, покидая город последним, поджег его.
Известен факт тесных отношений с оршанскими иезуитами российского вельможи, фаворита Екатерины II Григория Потемкина, который владел Дубровной в 1782-87 г. г., приглашал к себе в имение и подолгу общался с иезуитами. Светлейший князь даже заказал для костела оршанских иезуитов дорогую ризницу.
Конец всем иезуитским заведениям в Российской империи наступил в 1820 г., когда высочайшим повелением Александра I орден иезуитов был выслан с территории империи. Местным властям предписывалось — «иезуитов, как забывших священный долг не только благодарности, но и подданнической присяги и потому недостойных пользоваться покровительством российских законов, выслать под присмотром полиции за пределы государства и впредь ни под каким видом и наименованием не впускать в Россию». Упразднялись иезуитские коллегии и академии, было конфисковано их имущество, библиотеки, земельные владения и др. Иезуитам было предписано либо выйти из ордена, либо покинуть страну. После 25.03.1820, когда указы о роспуске ордена в пределах Российской империи были оглашены в Витебске, Полоцке, Могилеве, Орше и других городах, около 200 иезуитов были высланы из России.
Современники описывают это событие так: монастыри полиция окружала часовыми, читали иезуитам указ, опечатывали имущество, каждому оставляли личные вещи, выдавали деньги на дорогу и на почтовых отправляли на границу, а оттуда в Австрию. Оршанские доминиканцы приняли от иезуитов публичную школу, сделав ее 4-хклассной, а после и эти были закрыты.
Дальнейшая судьба коллегиума иезуитов в Орше печальна. В 1831 году костел Архангела Михаила был продан под снос. Здание коллегиума, где прежде обучались дети латыни, алгебре, стихосложению, в 1839 году было переоборудовано под тюрьму, которая начала действовать в 1842 г. Сменялись общественные формации, формы власти, прогремели две мировые войны, а тюрьма в самом центре Орши продолжала существовать.
В этой тюрьме томились и страдали десятки тысяч белорусов и уроженцев СССР, от повстанцев 1863 года до подпольщиков Великой Отечественной. И это тоже – страничка истории, хотя и трагичная…
В 1990 г. она наконец-то была закрыта, а здание было законсервировано. В 2007 – 2008 г. г. накануне республиканского фестиваля «Дожинки» была реализована запланированная реконструкция коллегиума, и теперь оршанцы могут не только полюбоваться красивым зданием, но и посетить и детскую библиотеку имени В. С. Короткевича, и городскую картинную галерею В. А. Громыко, которые в нем разместились.