曾國藩的幕僚先後有100多名，很多身居高位，而趙烈文卻有些另類，其人有官才卻沒有官癮，雖只是個監生，卻才華橫溢，熟讀經史，深通周易和佛學。他的見解尤其獨到，對一些事情的分析預判，連曾國藩都佩服。
咸豐五年（1855年）底，趙烈文入曾國藩幕府，曾國藩派他去觀摩駐在樟樹鎮的湘勇各營。趙烈文回來後對營務提了一堆意見，還很不客氣地說：「樟樹營陸軍營制甚懈，軍氣已老，恐不足恃。」曾國藩認為不過是書生大話而已。之後，趙母生病，趙烈文辭職返鄉。在其臨行之際，突然傳來樟樹鎮湘勇大敗的消息。從此，曾國藩對趙烈文刮目相看。
趙烈文再次回到曾國藩幕府，在他身邊時日漸長，謀劃漸多，並有讀書、下圍棋、喜歡佛學等共同愛好，曾國藩對其越來越器重，以至無話不談。同治六年（1867年）六月二十日晚間，曾國藩與趙烈文在兩江總督署聊天。曾國藩說：「京城中來人說，京城氣象甚惡，明火執仗的案件經常發生，而市面上乞丐成群，甚至婦女也裸身無褲可穿，民窮財盡，恐怕會有異變。為之奈何？」趙烈文接話：「天下治安，一統久矣，勢必分崩離析。然而君主威勢厚重，風氣未開，若無抽心一爛，則土崩瓦解之局不成。我估計，他日之禍，必先從根本顛仆，而後方州無主，人自為政，殆不出五十年矣。」對門生這個「滿清50年內滅亡，其後中華大地將出現一個階段的軍閥割據局面」的觀點，曾國藩極其驚訝，趙烈文說出了他的擔憂，但又沒有想到他說得這麼具體明確。
預言驚人地應驗了，清王朝在1911年瓦解土崩，距趙氏的預判為44年。並且，接下來的也是趙烈文所說的「方州無主，人自為政」的軍閥割據局面，此事在民國時期廣為傳播。其實，趙烈文還有一個很精準的預判——他提前預判淮軍、北洋水師必敗！
光緒元年（1875年）正月，趙烈文卸任易州知州，並拒絕了當時已是大清國炙手可熱人物、直隸總督李鴻章為其謀官的提議，李鴻章又力邀他參與編撰直隸史志，礙於故人情面，只好答應。
趙烈文是曾國藩的親信幕僚，李中堂也對他尊重有加，所以直隸官場中人都想結納他，飯局應酬很多。在與直隸官場尤其是與淮系官員和軍官的應酬中，趙烈文頗有感觸。他在光緒元年（1875）九月初三的日記中寫道：「淮軍駐津者皆令赴海濱屯田，兵勇雖來自田間，而逸樂已久，不甘勞苦。」可見，淮軍兵勇吃苦耐勞精神已經退化。他還得知淮軍軍官剋扣軍餉成習，兵勇每月只能拿到不足1兩銀子的軍餉，人心渙散，逃兵很多，「每哨僅十餘人」。淮軍沿襲湘軍規制，一哨定額80人，如今實際兵員不及四分之一，而將領們並不上報，樂得可吃空餉，趙烈文驚嘆「聞之可為寒心」。
對於淮軍亂象，淮系創始人、統帥李鴻章卻不加整頓，「專務養尊處優」，並將淮軍軍費當成「金庫」，凡是「興造土木、捐創善堂及官幕、遊客或贍家或歸櫬，或引見或刻書」，都批准從軍費中支出。上行下效，淮軍將領「甚者嬉遊宴飲，挾妓娶妾」，也從軍費中支取。
最糟糕的是，淮軍最高層「前後左右無一骨鯁之士，佞諛者進，朴勤者退」，正直有才的人得不到重用，淮系內部腐敗積重難返。趙烈文提出：「當此海疆多事，隱憂甫切，奈之何哉！奈之何哉！」值得一說的是，發此浩嘆的兩天後，他看到保定縣城牆「土垣無瓮，斷缺如壞」，滿目凋敝情形，將其與淮軍官兵紙醉金迷、驕惰貪逸的情形相比看，其心情可想而知。
近20年後，甲午戰爭爆發，以淮係為主體的北洋水師和陸軍接連潰敗，局勢正如趙烈文當年預判，海疆的「多事」和「隱憂」衍變為中華的一場災難。昔日被視為虎師勁旅的淮系部隊，讓國人大失所望。甲午一役決定了晚清命運，改變了東亞局勢，更深刻影響了近代中國歷史走向。趙烈文於甲午海戰前一年去世，得以未睹慘狀，否則會作何想？