1977年，羅瑞卿從軍委顧問重返一線，二度出任軍委秘書長，主持日常工作。
此時正處於一個特殊時期，需要有能力的領導人大刀闊斧解決問題。羅瑞卿幹過保衛工作，教育工作，政治工作。新中國成立更是擔任公安部長、公安軍司令員。
1959年，新軍委成立後，他被提拔擔任軍委秘書長兼總參謀長，後又兼任書記處書記、副總理等職，成為軍隊實權領導。羅瑞卿能擔任如此重要職務，是林總推薦，毛主席、周總理認同的。
在主持軍委工作的6年裡，為軍隊軍事作出不少工作，如1964年展開的大比武，目的是推動全軍訓練，提高訓練質量，增強部隊戰鬥力。他親自主持召開全軍學習推廣郭興福式教學方法，各軍區、軍種、 兵種、院校和各行各業都要培養出自己的「郭興福」式教練員。
1965年，受到衝擊而靠邊站，離開一線，一去就是10年。
1977年，從軍委顧問上重返一線擔任秘書長。在張愛萍回憶錄中記錄，上級找張愛萍談話，希望他擔任秘書長一職，可張愛萍自認為不行，並推薦退居二線的羅瑞卿。而上級考慮到他的腿不方便，張愛萍說可以多配幾個秘書就行了，甚至拿羅斯福舉例。
經過上級的多方考慮，最終羅瑞卿重新主持軍委工作。
這個時間段，雖然「四人幫」被粉碎了，可還有很多工作需要處理，如平反冤假錯案，而遭到兩個凡是的阻礙。
1978年春天，一場關於實踐是否是檢驗真理的唯一標準的大討論逐步展開。一篇《實踐是檢驗真理的唯一標準》的文章，先發表於《光明日報》羅瑞卿第二天就讓《解放軍報》轉載。他對報社負責人說：文章雖短，卻提出一個重要問題，什麼是檢驗真理的標準，真理不能用來檢驗真理，只有實踐才能檢驗，這一觀點很正確很重要。希望軍報注意宣傳這一觀點。
這時「凡是」還很有勢力，不少人能感受到它帶來的壓力，羅瑞卿旗幟鮮明地支持，認為這一點不解決，事業就不能前進，要消除「凡是」的影響，軍隊要積極支持和參加討論。
甚至讓人寫一篇文章反駁種種責難，並在《解放軍報》上發表。《人民日報》、《光明日報》轉載。這一來，形勢大轉，堅持「凡是派」還在堅持，說他剛出來工作，就「跳得很高」。為此，他找不少軍隊將領談話。
他兩次找總後勤部部長張震談心，說明目前的處境。張震完全支持他放手工作，不要受流言作用。
腿疾對他來說是一個拖累，不滿足於坐辦公室里看文件，常說不深入第一線是危險的。他要求軍隊高級幹部，凡是身體條件允許，都要深入下去，抓兩三點，就地發現問題解決問題。要求別人首先自己要做到，復出一年就跑來很多地方。
從基層回來，讓他治腿的決心更大了。他詢問專家在國外實行手術情況，西德兩位專家告訴他，如果經手術裝一個人造骨頭，左腿功能就會大大改善，在國內技術不成熟，他產生出國治療的想法。
經過組織上的交涉，西德方面的答覆是有99%把握。1978年8月2日進行手術很成功。可到3號凌晨2點多，因心肌梗塞突然奪去生命，實在令人痛惜。
自從羅瑞卿重返一線，在軍內是鄧公的得力助手，從實事求是那場論戰中可以看出，堅決支持鄧公，如果腿治好，改革開放將會怎麼如虎添翼，是不言而喻的。