第二次直奉戰爭，由於吳佩孚的輕敵，加上馮玉祥的倒戈，使吳佩孚落得個泛海南逃的可悲結局。他當然不甘心失敗，南下到南京，到漢口與齊燮元及蕭耀南商議由黃河上游與長江流域各省在武昌成立「護憲軍政府」。齊燮元表面應允，事後又反悔，並與蕭耀南、孫傳芳、周蔭人、蔡成勛、杜錫珪、馬聯甲、劉鎮華、李濟臣、李炳之等聯名通電擁護段祺瑞組織政府。此時的直系將領都急於自保或聯省自保，並不想刺激風頭正盛的張作霖和馮玉祥。
吳佩孚失敗後眾叛親離，無處落腳，在苦悶中飲酒作詩，「戎馬生涯付水流，卻將恩義反為仇。與君釣雪黃州岸，不管人間可自由。」最後，他到河南信陽的雞公山避居。他自己也很難預料，能否有東山再起的一天。
然而，在軍閥混戰的年代裡，一些不可思議的奇蹟竟也會發生。如同段祺瑞蟄居四年後有人將他捧上臨時執政的寶座一樣，無兵無錢的吳佩孚也在倒台後不到一年的時間，又有了東山再起的機會。
第二次直奉戰爭之後，張作霖的奉軍和馮玉祥的國民軍控制了北京政權，奉馮兩派亦不斷擴張勢力，尤其是奉系，多次向關內進軍，到1925年9月，津浦沿線各省區全部為奉系所占有：李景林為直隸軍務督辦、張宗昌為山東軍務督辦、姜登選為安徽軍務督辦、楊宇霆為江蘇軍務督辦。此外，邢士廉等部進駐上海。奉系勢力日益向東南擴張，直接威脅到直系的利益，使得直系將領們不得不謀求聯防自保。
江西督軍方本仁，首先發起湘、鄂、贛三省聯防。湖南督軍趙恆惕開始對此不感興趣，正在岳州居住的吳佩孚乘機鼓動趙恆惕，「我們何不來個湘、鄂、川、黔四省聯防呢？」趙恆惕覺得這主張不錯，就答應了。很快，湘鄂川黔四省聯防組成，公推吳佩孚為盟主。不久，豫、陝、晉亦加入，四省聯防擴大到七省聯防，吳佩孚的聲威一下猛增。
浙江督軍孫傳芳，原來曾聯奉自保，此時也乘勢而起，組織了蘇、浙、閩、贛、皖五省聯軍，自任總司令，並用這五省聯軍與吳佩孚的七省聯防合流，推吳佩孚為盟主。1925年10月，吳佩孚在武漢出任十四省討賊聯軍總司令，並發表通電，決心「再與天下群雄共角逐」。
北京臨時執政段祺瑞，聽說吳佩孚東山再起，揮兵北上「討賊」，急忙央求張作霖和馮玉祥出兵，討伐吳佩孚。但在此時，馮玉祥與張作霖的矛盾已經異常尖銳，勢同水火。1925年11月，馮玉祥串通掌握奉軍大半精銳之師的郭松齡和時任直隸督軍的奉系將領李景林，結成反奉三角同盟，並簽訂了「反奉密約」。11月下旬，郭松齡倒戈，發動反奉戰事，向張作霖發起突然攻擊，殺得張作霖措手不及，險些束手待斃。12月，張作霖得到日本關東軍之助，殺敗了郭松齡（郭松齡倒戈反奉戰爭由下一章詳述）。從此，張作霖對馮玉祥恨之入骨。當吳佩孚揮軍北上討奉之時，張作霖暗中向吳佩孚修好，希望聯合起來，共同解決馮玉祥。吳佩孚因馮玉祥倒戈，發動北京政變，弄得自己浮海南逃，早已恨透馮玉祥，今見張作霖的態度，便決心與之合作，共同討馮。這樣做，也符合英、日等帝國主義欲壓制國民軍及北方革命群眾運動的要求。於是，吳佩孚將「討賊軍」改為「討赤軍」，聯合奉軍夾擊國民軍。史稱「國奉戰爭」。
1926年1月1日，馮玉祥在英、日等帝國主義及奉、直軍閥的壓迫下，通電「引退」。1月4日，將全權交給張之江，準備赴俄遊歷。1月9日，段祺瑞發表馮玉祥為考察歐美農業專使，另委任張之江繼馮為西北邊防督辦，並由鹿鍾麟、張之江、李鳴鐘、宋哲元、劉郁芬分任京畿及察哈爾、綏遠、熱河、甘肅等省區軍事長官。
吳佩孚與奉系聯合之後，並得到英國的援助，即向國民軍發動進攻。1926年1月下旬，由寇英傑部及靳雲鵬部合攻河南，3月初全部占領河南，國民軍岳維峻率殘部西逃。另外，東北的奉軍占領山海關，山東的奉軍李景林部越過馬廠北進。國民軍被迫放棄天津，固守北京。4月初，北京被直、奉軍在包圍，鹿鍾麟為緩和與直系的矛盾，釋放了曹錕，請吳佩孚入京主持大局，但吳佩孚不為所動，要張之江、鹿鍾麟同時下野。4月15日，國民軍退出北京，把守南口。此後，國民軍與奉直聯軍激戰於南口達四個月之久，終於失敗，退往西北。
1926年6月，吳佩孚、張作霖進入北京，直奉合作，把持了中央政權。吳佩孚、張作霖表示要捐棄前嫌，還交換蘭貼，結為兄弟。但是好景不長，1926年7月6日，廣東國民革命軍誓師北伐，直指湖南。7月11日，已攻克長沙，隨即向湖北推進。吳佩孚急忙率數萬精銳於8月22日乘車兼程南下，25日在漢口召開緊急會議，準備固守汀泗橋和賀勝橋等戰備要衝。
汀泗橋位於咸寧以南，東面為山嶺，其他三面環水，地勢險要。吳佩孚企圖憑藉天險頑抗，等待北方大部援軍開到，再進行全力反攻。他親臨前線，往返指揮，還派出八個大刀隊督陣。但北伐軍第四軍英勇善戰，經兩晝夜血戰，於8月27日奪取了汀泗橋。吳佩孚仍想固守賀勝橋，親乘裝甲火車在橋北督戰，仍派出大刀隊督陣，但很快也被北伐軍攻破防線。吳佩孚只得退回漢口。不久，北伐軍兵臨城下，吳佩孚的部將劉佐龍率部起義，武漢三鎮相繼失守，吳佩孚只好率殘部敗退河南。此時，吳佩孚結拜兄弟張作霖不但見死不救，而且派兵占領了直隸全境，阻止吳佩孚進入直魯地區。吳佩孚東面、北面無去路，又處在南面北伐軍和西面馮玉祥軍（改稱國民革命軍）的夾擊之中，雖然尚號稱有二十萬之眾，但將士已無鬥志，紛紛瓦解。1927年3月17日，奉軍占領鄭州，吳佩孚只好率領隨從衛隊西行入川，投奔四川軍閥楊森，從此，他的政治生涯也宣告結束。
吳佩孚在四川生活了五年，似乎又恢復到「秀才」的本來面目，終日讀書、寫作、吟詩、畫梅。他先後住過白帝城、萬具、廣安、大竹、綏定等地，其中在綏定住得較久。吳佩孚並非不想東山再起，但當時中國的政壇已由國民黨新軍閥所操縱，他只能抒發一些英雄末路的慨嘆。1931年底，吳佩孚由四川入北京，受到「世侄」張學良的盛大歡迎和殷勤接待，從此，吳佩孚蟄居北京。
本來，軍閥頭子的晚年不必多提，但吳佩孚的晚年卻需要大書一筆。1938年底，日本侵略者採取威脅利誘的手段，企圖迫使蟄居北平的吳佩孚出任北京綏靖軍事委員會委員長這一漢奸職位，但遭到吳佩孚的拒絕。日本大本營特務部長土肥原十分惱火，決定採取強硬手段，強迫吳佩孚召開一次記者招待會，公開說明他對中日和議所持的態度。
1939年1月30日，130多名中外記者聚集在吳公館，而公館附近軍警林立，特務往來。吳佩孚首先出示親筆撰寫的一副長聯：「得意時清白乃心，不怕死，不積金錢，飲酒賦詩，猶是書生本色；失敗後倔強到底，不出洋，不入租界，灌園抱瓮，真箇解甲歸田。」此聯有溢美之處，但「不積金錢」、「不出洋」、「不入租界」等，亦確是他的所為。接著，吳佩孚明確地向在場的中外記者表示：「本人認為今天要講中日和平，唯有三個先決條件：一、日本無條件的全面撤兵。二、中華民國應保持領土和主權的完整。三、日本應以重慶的國民政府為全面議和的交涉對象。」吳佩孚的鮮明態度，令日方大為尷尬和羞惱。
之後，大漢奸汪精衛多次勸說吳佩孚與他合作，日方要員包括駐華派遣軍總參謀長板垣征四郎等，也一次又一次促請他「出山」，甚至決定劃出湖南、湖北、江西、河南、山東、河北六省的地盤，交請吳佩孚主持一切，但吳佩孚始終不為所動。1939年12月4日，吳佩孚在北平病逝，享年66歲。不過，也有些學者認為，吳佩孚是由日本人以為他治牙為名將其殺害的。
吳佩孚一生做過不少與人民為敵的事，但他晚節可風，與同是直系將領的齊燮元等人相比（齊後來成為大漢奸），畢竟要好一些。