北京保衛戰終於取得了勝利，使明廷轉危為安。但經過「土木之敗」的明王朝軍事力量大大受損，各方面遭受的戰爭創傷還需醫治。于謙辭讓功賞，並說:「四郊多壘，卿大夫之恥也，敢邀功賞者!」這樣，于謙繼續擔起整飭明廷武備，並且首創了團營軍制。
于謙根據「宣府者京師之藩籬，居庸者京師之門戶，未有藩籬門戶之不固，而能免盜賊之侵損者也」的建議，奏請朱祁鈺整飭邊防，先後派遣都督朱謙和都督同知紀廣、都督僉事楊俊去鎮守宣府。派刑部右侍郎耿九疇到南直隸整頓各衛所。命右僉都御史王竑和都指揮同知夏忠去鎮守居庸關。派遣僉都御史蕭啟和都指揮僉事董宸赴河間府，僉都御史祝暹和都指揮僉事趙瑄赴保定府，右僉都御史陸矩和都指揮僉事葛旺赴真定府衛所鎮守。並命令各鎮守官:「彼往鎮守，提督各府並各衛官，安撫人民，操練軍馬，修理城池，堅利器械。」經過于謙等人的努力，明朝的軍備力量逐漸加強，擴大了北京周圍的防禦縱深度，加強了北方邊防的韌性，對瓦剌的抵抗力量日益加強。
于謙在執掌兵部的實踐中，深感明朝兵制的一些弊端，為了從根本上提高軍隊的戰鬥力，他積極從事對京營兵制的改革。
明朝京軍原分為五軍、三千、神機三大營。五軍營，即是駐於京師的衛護部隊，有步兵和騎兵，平時主要訓練演習營陣。三千營，都為騎兵，執掌儀仗扈從皇帝，平時主要肄習巡哨。神機營，先是步兵，後增加了馬隊，執掌隨駕護衛，平時主要練習火器。三大營同隸五軍都督府管轄，但掌府官只管「常行文書而已，非特命不預營事」。三大營各有總兵，不相統一，號令不一致。遇有戰事，「臨期調拔，兵將不相習」，這就造成將不知兵之強弱，兵不知將之號令，從而影響戰鬥力。而「土木之敗」後，京師精銳皆沒，三大營的兵制更加混亂，很有改革兵制的必要。
景泰二年(1451年)，于謙從三大營中挑選10萬名精壯軍士，分五營操練，名日團營法。第二年把團營軍士增加到15萬，分編為10個營。每營有軍士1. 5萬人， 置都督1人，稱為「坐營都督」。每營的坐營都督下置都指揮3人，每一都指揮統領軍士 5000人。每一都指揮下設把總5人，每一把總統領軍士1000人。每把總下設指揮2人，每一指揮統領軍士500人。每一 指揮之下，設領隊官5人，每一領隊官統領軍士100人。每一領隊官下設管隊官2人，每一管隊官統領軍士50人。十團營共設總兵官1人，由石亨充任，受兵部尚書于謙節制。沒有編入團營的軍士，仍歸三大營訓練，以衛京師，稱著「老營」或「老家」。建立團營制後，于謙規定各級軍官都要按時到教場操練。明朝的京師，經過這一番整頓之後，使得「互相統屬，兵將相識，管軍者知軍士之強弱，為兵者知將帥之號令，不致臨期錯亂」。「交戰之時，但調其頭目而士卒自隨」。
經過于謙的團營兵制改革，明朝部隊的軍事素質有了很大程度的提高，使得軍隊在大集團作戰時，能夠相互配合，而且調度方便，這在中國軍事史上確屬首創。《明史. 兵志》說:「于謙創立團營，簡精銳，一號令，兵將相習，其法頗善。」這一評價是很客觀的。