Руска-польская вайна 1654 - 1667 г., г. прынесла Оршы разбурэнні і пажары. У тым ліку былі спалены драўляныя будынкі калегіума езуітаў. Ён быў зноў адкрыты ў 1664 г. У тым жа годзе была адкрыта часовая капліца для набажэнстваў і працягвалася абнаўленне касцёла святога Міхаіла.

Вялізныя страты нанёс і пажар 1680, які зноў знішчыў і калегіюм, і школу, і капліцу з недабудаваным касцёлам, і будаўнічыя матэрыялы - падарунак Казіміра Сапегі. Згарэла і бібліятэка, якую пачалі збіраць нанова. Школа аднавіла сваю працу ў тым жа годзе.

У 1690 па фундацыі караля Яна Сабескага пачынае будавацца каменны двухпавярховы калегіюм і касцёл. Але канчатак гэтага будаўніцтва адносіцца да больш позняга часу зноў-такі ў сілу ваенных падзей і разбурэнняў 1708 г., калі Орша была спаленая расійскімі войскамі Пятра I у ходзе Паўночнай вайны.

Дзейнасць пятиклассной школы езуітаў была прыпыненая з 1709 па 1713 яшчэ і па прычыне эпідэміі. Але паступова жыццё манастыра вярнулася ў сваё рэчышча. Аднаўляюцца будынкі, адраджаецца досыць шырокая гаспадарчая частка. У 1768 г. новы мураваны касцёл быў асвечаны ў імя Міхала Арханёла.

У 1773 г. спецыяльнай булой Папы Рымскага ордэн Ісуса быў забаронены. Але расійская імператрыца Кацярына II забараніла абвяшчаць яе на тэрыторыі Расіі, і езуіты працягвалі сваю дзейнасць. У 1786 пачынаецца і ў 1788 заканчваецца будаўніцтва каменнага будынка школы і бурсы. Менавіта гэтыя будынкі і складаюць асноўную частку архітэктурнага комплексу калегіума, які захаваўся да сёньня.

Год 1812 стаў годам спусташэнняў для нашага горада. 7 лістапада 1812 года ў Оршу з Дуброўна разам з адступаючымі войскамі і 6-ці тысячнай гвардыяй прыбыў імператар Напалеон Банапарт, які размясціўся са сваім штабам ў езуіцкім кляштары. Ужо на наступны дзень, 8 лістапада, пасля непрацяглай артылерыйскай перастрэлкі з расійскімі войскамі праз Днепр, французскія войскі на чале са сваім імператарам пакінулі Оршу, а корпус генерал Нея, пакідаючы горад апошнім, падпаліў горад.

Вядомы факт цесных адносін з аршанскімі езуітамі расійскага вяльможы , фаварыта Кацярыны II Рыгора Пацёмкіна , які валодаў Дуброўнай ў 1782-87 г. г., запрашаў да сябе ў маёнтак і падоўгу меў зносіны з езуітамі. Святлейшы князь нават замовіў для касцёла аршанскіх езуітаў дарагую рызніцы.

Канец ўсім езуіцкім установам у Расійскай імперыі наступіў у 1820 г., калі найвышэйшым загадам Аляксандра I ордэн езуітаў быў высланы з тэрыторыі імперыі.

Мясцовым уладам прадпісвалася - «езуітаў, як тых хто забыліся святы абавязак не толькі падзякі, але і прысягі і таму недастойных карыстацца заступніцтвам расійскіх законаў, выслаць пад наглядам паліцыі за межы дзяржавы і надалей ні пад якім выглядам і найменнем не ўпускаць у Расею». Касаваліся езуіцкія калегіі і акадэміі, была канфіскаваная іх маёмасць, бібліятэкі, зямельныя ўладанні і інш. Езуітам было загадана альбо выйсці з ордэна, альбо пакінуць краіну. Пасля 1820/03/25, калі ўказы аб роспуску ордэна ў межах Расійскай імперыі былі абвешчаныя ў Віцебску, Полацку, Магілёве, Оршы і іншых гарадах, каля 200 езуітаў былі высланы з Расіі.

Сучаснікі апісваюць гэта падзея так: манастыры паліцыя атачала вартавымі, чыталі езуітам ўказ, апячатваць маёмасць, кожнаму пакідалі асабістыя рэчы, выдавалі грошы на дарогу і на паштовых адпраўлялі за мяжу, а адтуль у Аўстрыю. Аршанскія дамініканцы прынялі ад езуітаў публічную школу, зрабіўшы яе 4-хклассной, а пасля і гэтыя былі зачыненыя.

Далейшы лёс калегіума езуітаў у Оршы сумны. У 1831 годзе касцёл Арханёла Міхаіла быў прададзены пад знос. Будынак калегіума, дзе раней навучаліся дзеці латыні, алгебры, вершаскладанню, у 1839 годзе быў пераабсталяваны пад турму, якая пачала дзейнічаць у 1842. Змяняліся грамадскія фармацыі, формы ўлады, прагрымелі дзве сусветныя вайны, а турма ў самым цэнтры Оршы працягвала існаваць.

У гэтай турме знаходзіліся і пакутавалі дзясяткі тысяч беларусаў і ўраджэнцаў СССР, ад паўстанцаў 1863 года да падпольшчыкаў Вялікай Айчыннай. І гэта таксама - старонка гісторыі, хаця і трагічная...

У 1990 г. яна нарэшце была зачынена, а будынак закансерваваны. У 2007 - 2008 г., г. напярэдадні рэспубліканскага фэсту «Дажынкі» была рэалізаваная запланаваная рэканструкцыя калегіума, і цяпер аршанцы могуць не толькі палюбавацца прыгожым будынкам, але і наведаць дзіцячую бібліятэку імя В. С. Караткевіча, і гарадскую карцінную галерэю В. А . Грамыка, якія ў ім размясціліся.