宋恭帝被俘後，江南的大片領土都落入元人之手，南宋王朝實際上已經宣告滅亡，但這並不代表南宋的歷史就此結束。南宋遺臣不甘滅國，先後擁立了兩位皇帝，堅持抗元，雖然時間不長，卻給後人留下了一段英勇悲壯的故事。
德祐二年(1276)正月十七日，就在臨安陷落前的那天晚上，謝太后為南宋朝廷做出了最後一條決策：將趙顯的同父異母哥哥趙昰封為益王，另一個弟弟趙昺封為廣王，派大臣陸秀夫等人將這兄弟二人連夜護送出城南逃，以保留趙宋之根，也好東山再起。
陸秀夫等人護衛著趙是和趙呂先逃往要州(今浙江金華)，又逃到溫州。一些不甘亡國的南宋大臣聽到這個消息後，紛紛趕來投奔二王，張世傑也率部從定海趕來。他們逃到福州後，總算擺脫了元軍的追趕，年僅八歲的益王趙昰在宰相陳宜中、大將張世傑的擁戴下即位稱帝，史稱宋端宗。
流亡小朝廷雖然有了新皇帝，但兵少力單，擋不住元軍的進剿，只得在福州上船，向廣東沿海地區逃去。有一次在海上遭遇暴風雨，趙昰因驚嚇過度得了重病，很快就死掉了。
宋端宗一死，群龍無首，眼看著小朝廷就要分崩離析，這時候陸秀夫挺身而出，聯合張世傑擁立七歲的廣王趙昺當了皇帝，史稱宋幼主。為了避免常年在海上顛簸造成人心渙散，張世傑提議將皇帝的行宮轉移到崖山，這裡地勢險要，如果能據險固守，或許還能躲過這場劫難。
南宋祥興元年(1278)六月，流亡小朝廷遷到崖山(今廣東新會縣南)，抓緊時間在這裡建造宮室和營房。追隨而來的南宋民眾和官兵有二十多萬人，大多住在崖山周圍的船中。
這時候宋帝已經失去了控制天下的能力，但他的存在至少還是宋廷的象徵，對原來的南宋臣民還有心理上的影響。元江東宣慰使張弘范建議忽必烈派兵予以殲滅，忽必烈使任命張弘范為蒙古漢軍都元帥，前往征討南宋流亡小朝廷。
在此之前，還沒有漢人統領蒙古軍的先例，張弘范心存顧慮，就請忽必烈另派一位親信的蒙古大臣與他同行。忽必烈沒有同意張弘范的請求，卻向他提起了一段往事。
那是南宋嘉熙二年(1238)，蒙軍攻占安豐(今屬江蘇東台)，軍中漢人將領張柔(張弘范的父親)提議派兵守衛，主將察罕卻堅持揮師南下，結果宋軍發起反攻，安豐失守，使得張柔非常惱火。
忽必烈講完這段往事後，對張弘范說：「當年你父親陷入進退兩難的境地，原因就在於委任不專。我不能讓你產生與你父親同樣的悔恨。」說罷，忽必烈就要賞賜給他錦衣玉帶，委任他一個人統領討伐大軍。
張弘范推辭道：「臣奉命遠征，要錦衣玉帶沒有什麼用。如果陛下能賜給我寶劍、盔甲，臣就可以仰仗威靈，鎮服不服從命令的人，完成陛下交給的使命。」
忽必烈當即命人從武庫里拿出劍甲，任他挑選，並嚴肅地對他說：「這柄劍就是你的副帥，誰要是膽敢抗命不道，你就用這把劍處治他！」
張弘范在潮陽時，還不知道南宋流亡朝廷躲在什麼地方，只好發船下海，四處搜尋。不久，元軍抓住了兩名宋人，從他們口中探知宋帝君臣藏身在崖山，於是即刻引軍南下，直撲崖山。
元朝軍隊到達崖山地區後，並沒有馬上進攻，因為這時候元軍的水陸軍加在一起才兩萬多人，戰船300艘，而宋軍尚有近20萬人，戰船1000艘。張弘范想等另一支部隊前來增援，同時留給不適應海上作戰的元軍一段調整時間。
南宋祥興二年(1279)二月六日黎明，決戰開始了。開戰之前，張世傑把戰船全都捆綁在一起，擺成一字長蛇陣，準備與元軍決一死戰。小皇帝由陸秀夫保護，安置在「水城」的正中。張弘范則把元軍戰船分成四部分，向宋軍展開圍攻。元軍的戰船船尾較高，上邊站立著一排排神箭手，專門從高往下射殺宋軍戰船艙面上的士兵。等宋軍戰船上站不住人了，元軍戰船就趁機靠到近前，砍斷連接宋軍戰船的繩索，和宋軍短兵相接。
在此之前，由於元軍從崖山後面切斷了宋軍的糧草和淡水通道，宋軍士兵只好吃乾糧，喝雨水海水，致使兵士嘔吐不堪，體力已經不支。如今元軍氣勢洶洶地攻上來，他們勉強抵抗到下午，就再也支撐不下去了，有人開始向元軍投降。
張世傑見此情景，知道大勢己去，連忙下令將剩下的船砍斷繩索，集中起來，準備突圍。行動之前，他派出一條小船前去接小皇帝趙昺，打算讓他和自己乘坐帥船逃出去。當時，放眼水面全是元軍戰船，陸秀夫擔心來接皇帝的小船被元軍俘獲，那樣自己就將成為千古罪人，於是斷然拒絕了來人的請求。
元軍漸漸地從四面圍上來，陸秀夫先讓自己的妻子兒女投海自盡，然後從容地整理好朝服，向趙懸案告說：「國事至此，陛下應當為國而死，而不可受辱！」說完，陸秀夫便背起這位宋朝的最後一任皇帝，一起跳入了海中。
一場驚心動魄的大戰就這樣結束了。除了張世傑等少數人突圍外，宋軍或力戰身亡，或投海殉難，崖山海面上漂浮著十幾萬具屍首。
張世傑突圍到海陵山後，只剩下十幾條戰船。這時候，海上又颳起了颶風，張世傑不肯上岸避風，結果一陣巨浪襲來，把他的船打沉了。這位誓死抵抗的宋將落水犧牲，他手下的部將全都投降了元軍，南宋王朝的最後一股殘餘勢力就這樣消失了，崖山之後再無無中華。