在功德林戰犯管理所，人緣最好的是沈醉，這個當過軍統局本部總務處少將處長年輕人（被俘時只有三十五歲）跟誰都能說到一塊兒去，人緣最不好的，還真不是與他並稱「軍統三劍客」的徐遠舉和周養浩，而是被稱為「土木系骨幹」的黃埔一期生黃維。
黃維也知道自己人緣不好，所以直到1975年才最後一批被特赦，他在回憶錄《我在功德林的改造生活》中這樣記述：「後來我才了解到，第一批特赦時，周恩來總理點名要特赦我，我的名字是上了特赦名單的，並且已經通知了我在清華大學教書的大女兒來接我出去。可是被戰犯管理所給頂住了，他們說我沒有改造好，不同意特赦我，如果特赦我的話，別的戰犯不服呀！實際情況也確實如此，那時不特赦我是對的。」
特赦黃維，周總理同意，但是戰犯管理所不同意，「戰犯同學」也不同意，他們寧肯反駁總理的意見也要「留下」黃維，可見他做的事情，確實引起了眾怒。
在功德林學習改造的一百多個將軍級戰犯中，黃維當然不是罪過最大的，堪比戴笠徐恩曾的「別動總隊」創始人康澤，卻比黃維早特赦十年。黃維在鬱悶之餘，也曾進行過反思，然後就發現自己在特赦令宣布之前，自己確實做錯了兩件事。
第一次是功德林組織戰犯學習座談揭露蔣、宋、孔、陳的《四大家族》一書時，黃髮言說：「我不同意這本書的說法，什麼國民黨的中央銀行、中國銀行、交通銀行、農業銀行都是四大家族的，都是蔣介石一家的！按照這種言論，那麼現在的中國人民銀行是誰家的？」
黃維大放厥詞，軍統特務出身的學習組長董益三等讓黃維寫出書面檢查，黃維不但沒有寫檢查，還寫了一首侮辱小組成員的打油詩：「龍困淺灘遭蝦戲，虎落平陽被犬欺。」
組員梁培璜大怒與與黃維爭吵，董益三直接給了黃一個耳光，黃維出拳回擊不著，自己反而跌倒在地，臉也碰破了。幸被管理員發現，及時制止了這場「內戰」——沈醉回憶錄說黃維反擊，差點一拳打死董益三，顯然是誇大其詞了——真打架，有「書呆子」之稱的黃維，又怎是軍統特務董益三的對手？
黃維與董益三這場打鬥，最後以全受批評結束，在首批特赦之前，黃維又犯了一個大錯：功德林在戰犯之間開展「我們應該堅持什麼樣的民族氣節」的討論，黃維竟又發言說「我要堅持文天祥的民族氣節，決不向自己的敵人投降！」
這番話，文天祥的後人文強可以說，黃維在這個時候說出來，就太不合時宜了。這一句話說出來後，又受到功德林全體戰犯接連三天的說理批判，最後黃維不得不服輸。
從華北局社會部預審部門一室四科（科長是姚倫，《特赦1959》中王英光的歷史原型之一，很多特赦者在回憶錄中都多次提到他。）調入功德林戰犯管理所的雷皓在《進京前後參與管教國民黨戰犯紀實》中也特別提到了黃維：「在功德林一號管押的國民黨戰犯黃維是表現最差的一個。他初到功德林時，牴觸情緒很大，處處與管教人員對立。他認為自己成為階下囚，就因打了敗仗，所謂『勝者為王，敗者為寇』。他堅持自己『無罪可悔』。在學習中，不是沉默不語，就是大放厥詞；而且，對其他認罪悔過的戰犯，還大肆譏諷挖苦。戰犯們都認為他是個頑固不化，想帶著花崗岩腦袋去見上帝的人物。」
這些戰犯有的屬於蔣介石的嫡系，有的是地方勢力的軍官，這些人員雖然都穿上了統一的囚服，但原有的矛盾並沒有消除，正規軍人蔑視特務分子，嫡系的看不起地方派系的，地方派系的又嫉恨嫡系的，當年同屬蔣氏嫡系的杜聿明、王耀武、黃維、楊伯濤分屬不同的派別，杜、王是何應欽派，黃、楊則屬陳誠派，那場架實際是軍統系打了陳誠土木系。
雷皓回憶的黃董之戰與沈醉的描述不同：「黃維在學習中不僅不揭露蔣介石的罪行，反而發表攻擊誹謗我黨領袖的言論。事後，他又拒寫檢查。為此，戰犯們群情激憤，黃維又口出狂言辱罵，學習組長董益三等便動手打了他，黃維也不肯示弱，結果雙方打成一團。」
著名傳記文學作家汪東林曾採訪過黃維，他在《黃維其人其事》中記錄了這樣一件事：1976年「批鄧」，黃維居然站上高台發言。
「黃維批鄧」的事情被報導出去後，掀起了軒然大波：「政協很快收到匿名信和匿名電話，責問黃維是頑固的戰爭罪犯，且在淮海戰役中敗於鄧大人手下，他有什麼資格『批鄧』？那些負責人幹什麼的？誰這樣有眼無珠，腦子發昏到這種程度！」
群眾的眼睛是雪亮的，黃維此舉據說誰頂不住壓力，念了別人代寫的稿子，但無論如何，那些無中生有的批評，是從黃維嘴裡說出來的，他自己也後悔了：「這件事使我內疚，本不想為而又不得不為，如果許我檢討，我可撰文登報聲明。」
在這件事上，黃維表現得還真沒有徐遠舉硬氣，當年也有不少人找徐遠舉，讓他誣陷別人，但他都堅決拒絕了。
據沈醉回憶，當年西南公安部讓軍統特務們交代過去的罪行，徐遠舉首先表示：「決不保留，決不擴大縮小，老老實實交代。」
徐遠舉背地裡告訴沈醉：「以我們過去的所作所為而言，殺一個地下黨是死罪，殺一百個也一樣，不如痛痛快快一下子交代清楚還舒服些。」
沈醉在徐遠舉的啟示下，也感到殺一個與一百個是同樣可以處死，還不如「竹筒倒豆子」，一下倒出來。
沈醉在回憶錄《人鬼之間·徐遠舉的特務生涯》這樣描述與黃維面臨同樣難題的徐遠舉：「徐遠舉寧肯挨罵甚至挨打，也不肯聽從他們的安排去寫陷害別人的東西，他在那幾年內心情非常煩躁，常和人爭吵，那四個人的爪牙把黃維和許多軍長一級的戰犯，都移送到撫順原日本戰犯管理所去囚禁，只留下一些軍統和中統等十多名搞特務的來給他們提供材料，準備利用他們過去的身份來誣衊好人。徐對此氣憤異常，認為這不是黨的傳統和光明作風。」
強硬的黃維只是對好人強硬，一旦遇到無底線的，他就守不住自己的底線了。很多人都對黃維的「骨氣」表示「讚賞」，但是看了親歷者寫出的材料，我們才發現有些事情不能只看表象，真實的黃維並沒有那麼有骨氣，有些事情他自己也解釋不清。
讀者諸君看了這些史料，心中也會有一桿秤：黃維在某些事情上的表現，是不是還不如徐遠舉？