元嘉七年（公元430年）下半年，到彥之撤退之後，宋軍並沒有因此而一瀉千里，他們還在淮河以北的廣大地區堅守，與魏軍膠著。因為，他們在等待著希望。他們知道，宋文帝劉義隆已經命令都督征討諸軍事檀道濟率軍北上，展開第二次北伐；而檀道濟在接到命令之後，也已率部日夜兼程北上，目的地就是駐有大量宋軍的黃河要塞————滑台。
然而，因為劉義隆原本對到彥之寄予厚望，武庫之中幾乎全部的精良裝備都配備給了他，而他將這些裝備都拋棄在了歷城城下。到彥之敗退之後，劉義隆曾在一次公開場合詢問武庫中還有多少武器，當時在座的不僅有朝廷近臣，還有北方降將，劉義隆開口之後就後悔了，因為他估計武庫中的兵器鎧甲也是所剩無幾了，負責掌管武庫的庫部郎顧琛撒謊說∶「尚有十萬人的兵器鎧甲。」劉義隆聽了，心領神會，連連稱善。
檀道濟所部作為劉義隆的非嫡系部隊，在這種情況下，他的部隊兵員和武器都不是一流的。而且，魏軍此時已經結束洛陽、虎牢等地的戰鬥，兵力更加集中；相反，宋軍卻士氣低落。可想而知，檀道濟的壓力有多麼大。
元嘉八年（公元431年）一月，檀道濟率領的北伐軍進抵前線，並完成了戰鬥準備。一月十五日，他率領宋軍從清水逆流而上，解救被圍近兩個月的滑台，魏軍叔孫建、長孫道生率軍抵禦。一月十六日，檀道濟所部進至壽張，遭遇叔孫建率領的魏軍，檀道濟與戴罪立功的寧朔將軍王仲德、驍騎將軍段宏率領宋軍給予魏軍迎頭痛擊，大破屢戰屢勝的魏軍，一直轉戰到高粱亭（今地不詳）。北魏寧南將軍、濟州刺史、壽昌公悉頰庫結率軍與宋軍激戰，檀道濟出奇制勝，派出段宏和禁衛軍將領沈虔之等人率領奇兵突襲魏軍，陣斬了悉頰庫結。
宋軍的艦隊邊打邊前進，一直開到濟水。二十多天內，雙方發生了三十多次慘烈的戰鬥，宋軍勝多敗少。宋軍進抵歷城後，叔孫建下令魏軍騎兵不斷劫掠、焚燒宋軍的糧草，宋軍很快就斷糧了，無法繼續前進，這讓安頡、司馬楚之等人能夠全力進攻滑台，拓跋燾再派楚兵將軍王慧龍率軍增援。二月，堅守三個月的滑台宋軍早已斷糧，主帥朱修之與將士們飢餓難耐，一起用煙將洞中的老鼠熏出，吃掉老鼠果腹。二月十日，魏軍終於攻克了滑台，生擒司徒從事中郎朱修之、東郡太守申謨，同時被俘的還有一萬多宋軍將士。
二月二十二日，拓跋燾回到平城，他向太廟告捷。興奮之餘，他下令對所有將領和百官都進行賞賜，參戰士兵家庭全部被免除十年的賦稅。當時，北魏南方地區發生洪災，餓死了很多百姓，尚書令劉潔上書請求拓跋燾哀憐百姓，拓跋燾又下令免除全國百姓一年的賦稅。
滑台陷落後，檀道濟北伐的目標已經落空，所部已陷入十分危險的境地，開始從歷城南撤。投降魏軍的宋軍士兵向魏軍報告說∶「宋軍已經斷糧了！」得知這一情況，魏軍開始南下追擊。檀道濟利用夜晚，命令士兵們像量糧食一樣一斗一斗地量沙子，一邊量，一邊高聲報出數字，然後，把軍中所剩無幾的一點兒米覆蓋在量好的沙堆之上。等到天明，魏軍遙遙望見宋軍軍營里一座座「糧垛」，高呼上當，誅殺了那個宋軍降卒。當時，魏軍人數眾多，騎兵黑壓壓地從四面八方朝宋軍壓來。檀道濟大智大勇，全無懼色，他下令全軍將士全副武裝，做好戰鬥準備，唯獨自己只穿了一件白色的便服，坐著轎子，悠然前行。就這樣，宋軍大搖大擺地從城內出來，慢騰騰地行軍。魏軍擔心有埋伏，竟然不敢接近，始終沒有發起攻擊，宋軍這才得以順利逃出虎口。
檀道濟雖然沒有收復滑台及黃河以南的失地，但在極其危險的情況下，氣定神閒，將宋軍帶出了死地，他表現出大將之風，不僅讓他在劉宋朝廷威名大震，也使對手肅然起敬。北魏軍民對他非常忌憚，曾將他的畫像當作驅除惡鬼的凶神惡煞來供奉。回國之後，劉義隆加封檀道濟為司空，讓他回到了江州駐地潯陽。
青州刺史蕭思話是劉義隆的表兄弟，元嘉五年（公元428年）在他年僅二十七歲時就被任命為青州刺史。當他聽說檀道濟已經率軍南歸後，嚇得魂不附體，決定棄城逃到險要地帶自保。濟南太守蕭承之反覆勸阻，但蕭思話不從。二月二十六日，他率軍棄城逃往東陽東南的平昌。他的參軍劉振之鎮守下邳，聽到這個消息後，也棄城而去。結果，魏軍並未繼續東進和南下，而東陽城內囤積的物資在蕭思話退走後，全部被亂民焚毀。劉義隆大怒，將他召回京師，逮捕下獄。
與傷感的宋文帝相反，北魏太武帝拓跋燾卻內心充滿了喜悅。
北魏冠軍將軍安頡率軍北撤後，拓跋燾才從宋軍俘虜口中得知，宋文帝在北伐之初曾告誡諸將說∶「如果北魏南方軍區進行戰爭動員的話，趁魏軍尚未南下，我軍就當率先渡過黃河，進攻魏國黃河以北地區；如果魏軍沒有動靜，大軍就駐紮在彭城不動。」拓跋燾對魏國群臣說∶「你們大家都說我採用崔浩先北後南之計，先進攻柔然而不理睬宋軍是錯誤的，你們還曾驚慌失措，反覆勸諫。常勝將軍總是以為自己比別人都強，其實，到最後，你們還是趕不上人家的謀略啊!」於是，他晉升崔浩為司徒。