1949年，上海解放之後我軍接管了上海，並成立了上海市軍管會，其中陳毅擔任了上海市市長兼上海市軍管會主任，他發起了穩定金融秩序的「銀元之戰」以及打擊投機倒把的「米棉之戰」，迅速穩定了上海的生產與生活秩序，鞏固了新生的政權。
新中國成立後，陳毅領導了上海市的三反五反運動以及工商業的社會主義改造，確定了社會主義國營經濟在上海市場中的主導地位。同時，為了方便陳毅開展工作，潘漢年也被任命為上海市副市長。潘漢年在革命時期長期在白區工作，具有豐富的城市工作經驗，由他配合陳毅開展工作事半功倍，不過，1955年，陳毅卻說潘漢年不可原諒，這是怎麼一回事呢？
1955年3月15日晚上，潘漢年乘坐北上的列車，準備參加3月21日至31日在北京召開的全國代表會議，當時陳毅是代表團的團長，代表團的成員除了潘漢年之外，還有柯慶施、陳丕顯、許建國、夏衍。上海代表團到達北京後，下榻在北京飯店，稍微休整後，就參加了會議。
這次會議的主要討論了高崗、饒漱石的相關問題，在討論饒漱石時，上海代表團的成員發言很多，這是因為饒漱石曾擔任第一任上海市委書記，在上海工作了一段時間。另外，饒漱石曾長期領導潘漢年的工作，討論饒漱石也引發了潘漢年的思考。
隨著會議的進行，會務組還印發了饒漱石的一些材料，這些材料包括饒漱石在上海「重用、包庇和掩護一批反革命分子」。通過這些材料，潘漢年意識到饒漱石的案件已經與自己聯繫到一起。尤其是潘漢年還有一塊心病，這塊心病與一個叫胡均鶴的反革命分子有關，巧合的是，胡均鶴在1954年已經被逮捕，這更讓潘漢年寢食難安。
潘漢年之所以寢食難安，主要是因為1943年他在胡均鶴的陪同下見了汪精衛，由於種種原因，他沒有向中央說清楚這件事，違反了工作紀律。事情到了這個地步，潘漢年覺得自己應該主動交代這件事，向組織說清楚當時的情況。
4月1日晚上，潘漢年首先找到了陳毅，向陳毅說了當年他與汪精衛見面的事，陳毅聽後大吃一驚，連連說潘漢年糊塗，犯了原則性錯誤，不可原諒。第二天，陳毅專門拿著潘漢年寫的報告，把這件事報告給毛主席，毛主席聽後也非常生氣，並作出「此人從此不能信用」的批示，緊接著，毛主席又安排時任公安部部長的羅瑞卿逮捕了潘漢年。
此後潘漢年便被關押起來，1963年，潘漢年被判處有期徒刑15年，宣判之後不久，潘漢年就被假釋，被公安部安排在北京市南郊大興縣境內的團河農場勞動。那段時期，潘漢年雖然有罪在身，但生活過得還算可以，而且每月還發放200元生活費，有一個自由活動的天地。
不過，十年特殊時期開始後，潘漢年再次受到衝擊，1967年，潘漢年被重新關押入獄，1975年，潘漢年被轉移到湖南省茶陵縣洣江茶場，繼續勞動，在那裡，潘漢年度過了自己的餘生，並在1977年含冤去世。
粉碎「四人幫」之後，中央開始平反過去的冤假錯案，在平反潘漢年的冤案過程中，陳雲、廖承志等出力頗多，1982年，中央正式下發文件，為潘漢年平冤昭雪，恢復了他的一切名譽。