史料記載，金天會七年（1129 ），金太宗完顏晟下令禁止被其吞併的中原漢地民眾穿著漢服，強迫漢人按女真族的習俗剃髮梳辮（ 類似女真後裔滿清入關後強迫漢人剃髮易服，威脅「留頭不留髮，留髮不留頭」）。金兵把數次南侵擄得的大量江南漢民當奴隸來買賣，強迫他們充軍（編入「漢兒軍」）或從事繁重的勞役。這就進一步加深了女真貴族統治者和漢族民眾的矛盾。
岳家軍是在漫長而艱苦卓絕的抗金戰爭中不斷吸收各方面的武裝力量逐漸發展壯大起來的。其中有中原淪陷後仍在太行山區堅持抗金的所謂忠義民兵，譬如河東忠義軍首領趙雲，於1134年帶領隊伍輾轉南下投奔岳飛。梁興是出沒於太行山一帶大股忠義民兵的主要首領，他有勇有謀，處事公正，深受當地民眾的擁戴，被人親熱地喚作「小梁哥」。他對盡忠報國、誓死抗金的岳飛非常敬慕，後來帶領100多位武藝高強的勇士，千里跋涉投奔到岳飛軍中。
山東好漢李寶，綽號「李潑三」。他原本率義民在山東、河南一帶與金兵游擊作戰，後來率領1000多條山東壯士投奔岳飛。後來，梁興、李寶等人都成了岳家軍的戰鬥骨幹，並先後被岳飛派遣回河北、山東、河東（山西）等被金人占領地區，廣泛聯絡當地抗金勢力，配合岳家軍北伐。
岳飛率軍鎮壓了鐘相、楊么起義後，又把被俘虜的十餘萬農民軍（洞庭湖漁民、農夫）中的老弱者遣散回家，遴選出5、6萬年輕力壯、熟悉水戰的人充實到岳家軍中去，這些投入到抗金前線的原義軍將士後來均成為岳家軍中水軍的中的主要力量。
岳飛還招降嘯聚在各處山林的綠林武裝。這些所謂的盜匪原本都是淳樸的勞動群眾。張用是相州湯陰人（今河南安陽湯陰縣），和岳飛同鄉，原本是縣裡的弓手，精於騎射，悍勇絕倫，人送綽號張莽蕩。《三朝北盟會編》記載，金軍入中原後，張用與其妻「一丈青」王氏以及結義兄弟曹成、李宏等將無家可歸的難民們組織起來，很快聚眾十餘萬，這支隊伍不僅與金軍作戰， 順便也打家劫舍，被時人稱作「流賊」，後被抗金名將宗澤招安，不久旋而復叛。
岳飛奉命率軍討伐張用，並以800騎智破張用十餘萬叛軍，最終收服了桀驁不馴的「張莽蕩」和其妻「一丈青」，兼併了張部約5萬兵力；又招降軍閥李成部將馬進的餘部數萬人，裁汰老弱，得精兵萬餘人。
後岳飛率部討伐盤踞道州、賀州（今湖南道縣、廣西賀州市）一帶的流寇曹成部， 先克道州，進逼賀州莫邪關。曹成部將楊再興夜襲宋營，混亂中打死岳飛愛將韓順夫和弟弟岳飜。後楊再興戰敗跌落溪澗，被張憲擒獲，岳飛驚嘆他的奇特相貌與超強勇力，並不記殺敵之仇，激勵他盡忠報國，招納並將他引導到抗金之路上來，楊再興感恩圖報，最終成為岳飛麾下一員得力猛將。楊再興曾數次單騎沖敵陣，要生擒金軍統帥完顏宗弼，在抗金戰爭中衝鋒陷陣，打得英勇頑強，屢建殊功。最後終於獻出了自己的生命。
當然，岳家軍中還包括南宋經制之軍（正規軍）諸將士。張憲、牛皋、徐慶、趙秉淵等悍將都是身經百戰的宋軍名將，他們都是岳家軍的核心成員。
岳家軍成員來自各行各業，有民兵、山大王、流寇、扯旗造反的農夫、漁民、官軍......成分雖然複雜,但他們聚集在抗金衛國這面旗幟下，緊緊團結在岳飛的周圍。岳飛治軍嚴明，在平時總是教育麾下將士要守法、要勇敢、要廉潔。他常對將士們說：「文官不愛財，武將不怕死，天下無事矣」。岳飛以身作則，在日常軍事訓練中，不論騎戰還是步戰，衝鋒、挖壕、列陣他都親自參與，摸爬滾打，和實戰一樣。岳飛和將士們生活在一起，親自為負傷患病的士兵調和湯藥。岳家軍的一條紀律是：「凍死不拆屋，餓死不擄掠」。這條鐵律，人人牢記，個個做到。
佃農出身的岳飛，雖然已經貴為朝廷大將，但並未忘本，不論行軍打仗還是紮營結寨，他總是嚴格約束將士，時刻注意保護人民利益，得到了民眾的大力支持。
岳飛之子岳雲，年紀雖小，卻是一個勇冠三軍、常勝不敗的驍將。《宋史》記載「 （岳雲）數立奇功，（岳）飛即隱之」。岳飛對兒子岳雲立下的赫赫戰功，既不聲張，也不上報朝廷，而是隱匿不報。 他對岳雲異常嚴厲，有功不賞，有過必罰。他如此嚴苛對待愛子，是由於他堅信一條信念：「正己然後可以正物；自治然後可以治人」。將帥不能以身作則，嚴格管好自己，又不能與部下同甘共苦，怎能帶好軍隊，又怎能要求將士們齊心協力，共同抗擊敵人？
岳飛嚴於律己，寬以待人，真正做到了「不愛財，不怕死」。史載，朝廷的賞賜他分毫不取，全部均分給有功將士。 每遇戰事，他都召集諸將一起商議作戰方案，群策群力集思廣益，從不獨斷專行。岳家軍之所以軍紀嚴明，具有很強的戰鬥力，跟統帥岳飛在將士中具有崇高的威望，也有莫大的關係。
南宋初期，岳飛所領導策動的反抗民族壓迫的鬥爭，是深得人心的正義行為。他所領導指揮的軍隊是得到了江南以及中原人民支持的抗金隊伍。岳家軍以農民為主，也囊括了社會各階層的愛國之士。岳飛以畢生的精力，頑強阻擊金兵的燒殺搶掠，並以恢復中原為己任，與李綱、宗澤、韓世忠、張浚、劉錡等都不愧為民族英雄。
岳飛自始至終反對宋高宗、秦檜集團的綏靖投降國策，屢次向宋高宗呼籲渡河北伐， 「直搗中原，恢復故疆」。宋高宗只想抱殘守缺，偏安一隅，為了實現既定的議和決策，竟不許岳飛講「提兵北伐，收復汴京」之類的誓言，害怕激怒好戰的金朝權貴。
在南宋立國之初的十幾年裡，岳飛將成分複雜的各色人物糅合在一起，訓練出一支令行禁止、「攻必克，守必堅」的鐵血雄師，打得金人聞風喪膽。就連剽悍善戰、侵略成性的金軍將帥在屢屢受挫後也不得不承認：「撼山易，撼岳家軍難」！、
【插圖源自網絡】