作為晉武帝司馬炎的第一心腹重臣，羊祜一時一刻也不敢忘記平吳。因為晉武帝上台後雖然政績不錯，但是他是躺在父祖的功勞簿上，只是因為長子，自然而然地被推到了這個高位，而他自己「有禪代之美，而功業未著」。這幾個字是壓在晉武帝頭上的一座座大山，有這幾個字，晉武帝就覺得頭抬不起來。所以羊祜也跟著著急啊，不論從君臣大義還是朋友交情來說，他都有義務儘快把這幾座大山給司馬炎挪開。
還是羊祜剛來荊州不久，就認識到長江上游對於伐吳的戰略意義。北軍本不善水戰，但如果藉助長江水勢順流而下，這雷霆萬鈞之勢沿岸各城防根本抵擋不住，長江天險對於東吳就失去了意義。
其實早在東吳建國之初，各戰略家都認識到了這個問題，周瑜拼盡全力搶奪荊州，還要奪取益州。就是因為這條水道就是東吳的血脈啊。只是老天不厚待孫家，周瑜早逝，讓東吳失去了進攻主軸，只能守成了。
羊祜認識到，一定要有文武全才的得力幹將去益州主政。可是益州和荊州離得太遠，他沒法利用自己的職權做出安排。
不久後有了一個機會，益州的軍隊譁變，殺死了刺史。羊祜便向朝廷推薦王濬（jun）去益州平叛。
王濬是弘農（今河南靈寶）人，也是出身於世代為二千石的官吏之家。少年時代就博通典籍，而且也是個大帥哥。所有成為名士的一切硬體很過硬。但是他不注意修養品行博取名聲，故而不為鄉里所稱道。
年輕時給自己蓋房子，門前留出一片很大的空地。幫忙的人都說用不著這麼大的地方。他卻說，這是為我以後帶兵時擺兵器、插旗幟預備的。人們哈哈大笑。王濬看出這是嘲諷的笑，很不屑地說，燕雀安知鴻鵠之志哉？
刺史徐邈的女兒有才淑，徐邈夫婦寶貝的不得了，答應讓女兒自己選擇中意的丈夫。於是大會賓客。徐小姐和母親隔著帘子相望，在眾人中一下子就看中了王濬。徐邈卻不太滿意。女兒說，您就放心吧，我不會看錯的。於是，徐邈真的把王濬招為女婿。
可見當時人的風度。
所謂魏晉風度，不僅僅是一班名士發狂、表演，魏晉風度是深入在每個人一言一行一舉一動之中，不僅男人還有女人。女人不欣賞的話，風度表演給誰看啊。
這位大小姐果然有眼光，王濬得配佳偶後，開始嚴格要求自己，為自己的仕途經濟尋求出路。恰好，羊祜被調往荊州，持節、開府。王濬便到羊祜的幕府報效。
持節前文解釋過，就是可以先不奏報朝廷直接處置二千石官員。開府則是皇帝給予重臣的特殊優待，允許他們組建自己的辦公機構，自己任用官員，由國庫發工資。
以羊祜為官的態度他的幕府應該都是由他親自面試的。所以他對王濬不是以下屬而是以知交對待。羊祜的侄子羊暨覺得受到了叔叔的冷落，就有點吃味兒，便說，王濬這個人吹牛還行，也是個紙上談兵的人。你得防備著他點，免得以後給你惹麻煩。羊祜笑笑說，小子，你看人的眼光還差得很啊。憑他的能力，日後定會立不世奇功的。
王濬在羊祜幕府歷練後，被任命為巴郡太守。巴郡相當於現在的重慶市。由於和吳國接壤，這裡的老百姓居然都不願意養兒子。因為生了兒子長大了要服兵役服勞役，等於是給國家養的，自己家倒用不上。所以棄嬰殺嬰現象特別嚴重。
唉……寫歷史的人很無奈啊，寫著寫著就會心絞痛。
王濬針對這一狀況，制定了嚴格的法規，免除了部分勞役稅負，減輕了老百姓的負擔，生育者都給假，可以免除徭役。自然而然，保全了不少的嬰兒。
272年，王濬是在廣漢太守的任上接到調令的，任命他為益州刺史，前去平叛。
王濬到了成都，很快平定了叛亂。其實四川人最大的問題就是士庶兩層都存在的嚴重被剝奪感。只要給老百姓減輕點負擔，給士族點話語權，他們就很好領導。
有鑑於王濬工作做得不錯，朝廷提拔他進中央做大司農，主管三農工作。
但是羊祜認為把王濬放在益州更有利於戰略全局。晉武帝對於羊祜的建議基本都是照發。
於是，王濬在四川打造戰艦，訓練水軍，時刻準備順流東下，大幹一場。
工程熱火朝天，日夜不息，難免就有廢棄的邊角料順江而下，漂到東吳的防地。東吳建平太守吾彥一看就知道這是人家在磨刀啊。立刻將軍請上報。
不知道孫皓是不是沒有看到吾彥的報告，所以，吾彥等不到朝廷的回覆，只好自作主張，召集工匠，打造了粗大的鐵鏈橫鎖在江面上，又製作鐵椎排布在江中，以防上遊船艦順流而下。終日憂心忡忡，知道戰事一起，自己這裡根本抵擋不住。但是有防備總比沒有防備強，盡人力聽天命吧。
274年陸抗去世的時候，羊祜向晉武帝打過一個報告，說讓益州方面沿江而下，攻克西陵；荊襄方面無後顧之憂，進擊江夏；東部戰區直擊建康。多路出兵多豎旌旗，讓敵人不知道哪裡是主攻方向，疲於應對，必然四處出擊，那麼中心就會空虛。這時我們從長江上游順流而下，專擊敵人薄弱處，這樣用不了多少時間，就會大獲全勝。
晉武帝接到羊祜的報告，大為贊同，立刻召開御前會議。但是，以賈充為首的一般大臣卻力言不可出兵。他們的理由是東吳已經沒有力量對北方形成威脅了，應該先把秦涼一帶的叛亂平定。晉武帝拿不定主意了，讓羊祜暫緩進兵。
羊祜著急，又上表說，現在孫皜胡作非為，吳國上下離心離德，如果他一旦死了，吳國再選出一個精明幹練的皇帝，那時候後悔就來不及了。而且，西北是邊地，東南是心腹，心腹大患除了，西北的叛亂也就平息了。但是晉武帝還是聽從了朝臣的意見，沒有批准。
羊祜也沒有辦法，只能感嘆：「天下事不如意者，十常居七八。」這句話成了成語，以後常掛在人們嘴邊。
羊祜這樣的人都發出這樣的感嘆，何況我等瓜眾，是吧？這麼一對比，倒也釋然了。
羊祜的女婿勸他，「還是置點田產吧。以後我們這些後輩和投靠您的幕僚、將士們都能分得點產業，當個小地主，大家有了財產，不是會更加緊密地團結在你的周圍嗎？」羊祜不同意，告誡兒子們，這種話是只知其一不知其二，做大臣的，如果一味地樹立自己的私人威望，讓下屬只知道依附於自己，那就是對國家的背叛。這一點你們一定要記住。
戰爭沒有打起來，羊祜依然在荊州為祖國守邊疆，但是晉武帝對於他的信任卻從沒有片刻轉移。
所以，他向朝廷推薦的人才，當事人都不知道是出於他的提拔。有人就說，這樣做也過分了。你推薦的都是有才能的人，又不是結黨營私。羊祜說，推賢任能，本就是做大臣的分內事。讓得到提拔的人坐在朝堂上，拿著國家發給的工資，卻感念私人的恩情，長此以往，做官的就會只知道發展私人感情，而不知道忠於事業。我怎麼能做這樣的事呢？
當然，羊祜也不是一個婆婆媽媽不敢得罪人的人。他的親戚王衍，人長得很漂亮，口才也好，出身高貴。這三項特長在當時可是了不起的優勢，憑藉這些，就可以封侯拜相了。王衍十四歲時，特意跑到羊祜這裡來，想要依靠羊祜的威望，能順利踏上仕途。
但羊祜對他很不以為然，說：「王衍這人華而不實，盛名之下，其實難副，以後敗俗傷化的事不夠此人幹的。」日後果然證明羊祜看人的眼光獨具。
為了闡述自己做人、做事的道理，羊祜寫了很多文章，其中著名的是注《春秋》、寫作《老子傳》。對後世學者影響很大。
晉武帝咸寧四年（公元278年）春天，羊祜病重，知道自己將不久於人世了，上表請求進京。晉武帝特別優待，命令羊祜的車馬一直開進皇宮，停到大殿門前。羊祜下車，走進宮中，晉武帝下階相迎，免朝拜，並賜座。羊祜再次力陳伐吳。晉武帝卻只是勸說讓他好好消息。
其實，晉武帝哪能放棄了混一六合的夢想，但他心裡有數，戰事一起，己方所能動員起的兵力最多只有二十萬人，而戰爭打的是後勤，為了保障二十萬兵馬的糧草，他還要動員起二百萬民夫，往前線送補給，做預備隊。而對方也有二十萬軍隊，並且人家本土作戰，後勤保障可以就地取材。兵法云：十則圍之，五則攻之……但是我們現在不僅是敵之，而且還不如。這種情況下，兵法也有云：不若則能避之——不如人家就別打了唄。
不打不甘心，打又沒有把握。這可真夠折磨人的。於是他派中書令張華多次探望羊祜，詢問到底有沒有必勝的把握？畢竟兵法還云：「夫未戰而廟算勝者，得算多也，未戰而廟算不勝者，得算少也。」那咱就先從廟裡多算算唄。
張華現在是晉武帝的辦公室主任，貼身大秘。出身寒族，在朝野都沒什麼背景，只是靠著自己的學問，獲得晉武帝的信任。
羊祜豈能不明白他老哥們兒的心思，所以掰開來揉碎了給張華講：對於皇帝個人，「今主上有禪代之美，而功德未著。」百年以後，歷史將怎麼評說？對於我們做大臣的，若能混一六合，從此不再興兵，繼而以文教治世。「則主齊堯舜，臣同稷契，為百代之盛軌。」而目前的形勢，「吳人虐政已甚，可不戰而克。如舍之，若孫皓不幸而沒，吳人更立令主，雖百萬之眾，長江未可而越也，將為後患乎！」張華深深讚賞羊祜的謀國之策。羊祜拉著張華的手說：「成吾志者，子也。」
但是，羊祜沒來及看到自己苦心經營多年的宏圖得以實現，就溘然長逝了。晉武帝大悲，即後悔自己優柔寡斷沒能抓住時機，讓羊祜帶著遺憾而去，又深愧自此失去了這麼一個國家的棟樑。晉武帝換上白衣，親自到羊祜靈前祭奠，思前想後，悲從中來，不禁放聲大哭。當時正是天寒地凍，晉武帝涕淚粘襟，眉毛鬍子都結上了冰。
清點遺物，羊祜平時的俸祿和皇帝給他的賞賜都分發給了身邊的軍士，做官數十年，除了著作，竟沒有其他財產。還是靠皇帝出資裝殮。
羊祜逝世的消息傳出，「南州人征市日聞祜喪，莫不號慟，罷市，巷哭者聲相接。吳守邊將士亦為之泣。」荊州老百姓自發集資在羊祜經常遊覽的峴山上修了一座廟，祭祀羊祜，並刻碑銘記羊祜的功德。世人讀碑文，無不為羊祜的事跡感動而流淚。因此將這座石碑稱為「墮淚碑」。
羊祜推薦杜預接替了他的職位，都督荊襄。
這個杜預也非常了不起。愛讀歷史的看官肯定知道，唐宋元三代，由官方設立文廟、武廟，供奉歷史上做出特殊貢獻的先賢大德。文廟以孔子為主，武廟以姜太公為主，而兼跨文、武兩廟的一個是諸葛亮，另一個就是杜預。
有點意外是吧？