太學就是古代的大學。據《大戴禮記·保傅》記載，我國在西周時期就已經有了太學的設置。《漢書·賈山傳》記載，西漢初期，賈山曾上書漢文帝，提出「定明堂，造太學，修先王之道」的主張。漢武帝元朔元年（前124），經公孫弘建議，設立了博士弟子官五十人，復其身，並通過考試勸以官祿，這樣便產生了博士弟子課試的制度。由於這些人的學習之地稱之為太學，故他們又叫太學生。
博士弟子入仕所經由之考試稱之為射策（一種抽籤考試），分為甲乙兩科，凡受業弟子「一歲輒課」，能通一藝以上即可以授官。特別優秀者則被破格錄用，不合要求者「輒罷之」。後來太學的規模不斷擴大，漢昭帝時期僅有一百人，漢宣帝時期，也才有二百人，漢元帝時期則增至一千多人，到漢成帝末年則增加到三千人。
東漢的太學設置於建武五年(29)，當時建有長十丈、廣三丈的內外講堂。漢順帝時期又進一步擴建，當時的太學有二百四十房、一千八百五十室。漢質帝時期，太學生最多時達三萬多名魏晉以後，由於長期戰亂，學校時興時廢。而當時的士大夫也大都消極避世，潛心於黃老之學，學校已經名存實亡。晉咸寧年間，又興太學，每每是國子學與太學並立。南朝時期，國子生（或國子禮生）經射策達明經標準的授官，又成為明經，而以梁代最為典型。唐朝以後的歷代封建皇朝，大都在中央設置太學，作為傳授儒家經典的高等學府。