霍去病出生於公元前140年，河東平陽(今山西省臨汾市西南)人。霍去病的身世關係說起來有些複雜。衛青的二姐名叫衛少兒,跟著母親一起在平陽公主府中做事,時間久了，與一位名叫霍仲孺的小吏產生了感情，兩人結合生下了霍去病。
不過，霍去病和舅舅衛青一樣，也不全是憑藉著關係進入的朝堂。在舅舅衛青建功立業的影響下，霍去病自幼精於騎射，頭腦靈活，不屑於像其他王孫公子那樣待在長安城裡放縱聲色，而是不斷地渴望殺敵立功。
公元前 123年，十七歲的霍去病為武帝所賞識，任命為嫖姚校尉，跟隨舅舅衛青出兵攻打匈奴。大將軍衛青率領六位將軍，出兵定襄，進攻匈奴。右將軍蘇建戰敗逃回，前將軍趙信被圍攻投降，唯有霍去病率領八百鐵騎，以迅猛的速度，直插匈奴縱深數百里。匈奴沒想到漢軍長途奔襲到來，毫無戒備，因此大敗。霍去病不僅斬獲兩千多名敵人，還殺了單于大父行(和單于祖父同輩)借若侯產，活捉單于叔父羅姑、相國、當戶多人，大獲全勝。武帝大喜,認為霍去病戰功過人，封他做了冠軍侯。
自此以後,武帝為了從根本上解除匈奴的威脅，採取了新的戰略,準備出兵直接占領河西走廊。
早在秦漢之際，匈奴就占領了河西地區，由渾邪王和休屠王分別統治，並與南面的羌人結合，藉此控制西域的國家。公元前121年，漢武帝任命十九歲的霍去病為驃騎將軍，率領一萬精兵奪取河西地區。霍去病在進軍河西的戰鬥中發揮了重要的作用。他跋山涉水、長驅直入，深入匈奴千餘里，幾經戰鬥，大獲全勝。在這次戰役中，霍去病殺死了匈奴的折蘭王和盧胡王，生擒了渾邪王的王子和相國、都尉等，奪取了休屠王的祭天之器。在給予匈奴沉重的打擊後，霍去病班師回朝，再一次獲得了武帝的獎賞。
漢朝「乘勝追擊」，為了徹底擊垮匈奴，武帝又命霍去病與公孫敖率軍萬人，分道齊出北地(今甘肅慶陽市);李廣率四千起兵做前驅，張騫帶領萬人隨其後。李廣在行進的路上，遭遇了匈奴左賢王主力部隊，最終寡不敵眾而被重重包圍。公孫敖因為迷失了道路，沒能找到霍去病的部隊，霍去病只好單獨率軍西進，打敗了匈奴。在這次戰役中，他俘虜王子、王母、單于妻妾將近六十人，接受投降的匈奴兵共計2500人，西漢由此打開了通往西域的通道。霍去病屢建大功，成為當時赫赫有名的大英雄，甚至與自己的舅舅齊名。
公元前119年春天，為了能徹底消滅匈奴的主力部隊，漢武帝發起了規模空前的「漠北大戰」。這次遠征，由大將軍衛青和霍去病分別指揮。霍去病從代郡出發北上，大敗匈奴左賢王，粉碎了他的主力，共斬獲七萬多人，俘虜匈奴屯頭王、韓王，匈奴左部勢力全軍覆沒。最後，霍去病的大軍在瀚海(北海,今貝加爾湖)之上勝利會師。為慶賀勝利，在狼居胥山(今蒙古國境內肯特山)主峰上建立高壇，在姑衍山舉行了祭地大禮。這就是歷史上有名的「封狼居胥」。後來這一典禮也成了對將軍們最高戰功的表彰。
霍去病是一個頗有擔當、忠孝兩全的人物。
說他忠，是因為作為大將軍，他為國上陣殺敵，英勇無畏，漢武帝很是喜歡他，為了獎勵他，漢武帝曾經想要為他修一座豪華的府第,但是霍去病卻拒絕了。他說:「匈奴未滅，何以家為?」這意思就是，匈奴還沒有被消滅，我又怎麼能安心地為自己安家呢?可見他時刻都以國家為重，將國家的安危和建功立業放在最前面，自己的事情反倒無足輕重了。
說他孝，就要再說說霍去病的身世了。雖然他的母親和霍仲孺生下了他，但是霍去病並不是霍仲孺正式承認的孩子，霍仲孺也沒有盡過一天父親的責任。可是霍去病卻沒有抱怨，在一次出征途中還順道去拜見了父親，跪拜說道:「早先我並不知道大人是我的父親，所以多有怠慢。」而霍仲孺也慚愧不已，對這個如今已是國家重要功臣的兒子，他也愧疚地說:「我得以有將軍這樣的兒子,是老天對我的恩賜。」
後來，霍去病還為霍仲孺置辦好了田宅僕人，更將父親後來娶妻生下的兒子霍光也一併接了來，像親弟弟一樣疼愛。
公元前 117年，英俊雄武的霍去病不幸病死，時年二十四歲。霍去病的死，對漢朝是一個重大的損失，漢武帝聽聞消息悲傷不已，下令將霍去病的墳墓修成祁連山的樣子，以表彰他擊敗匈奴的功勞。到了安葬的時候，他又調來鐵甲軍，從長安一路列陣排到霍去病的墓前，以示對這位為國征戰一生的將軍的紀念。
霍去病雖然年輕，卻也當得起「軍事家」的稱號，因為他在漢朝軍事發展方面做出了重要貢獻。他促進了騎兵的建設與使用。漢武帝時期是我國軍制歷史上從車騎並用到以騎兵為作戰主體的重要轉折階段。這一時期漢軍戰勝匈奴的主要原因之一。就是大規模地使用了騎兵集團。騎兵逐漸成了漢軍的主力兵種，而霍去病率領騎兵作戰，則進一步促進了這一轉折的發展。同時，霍去病的種種作戰方略，可謂是對漢軍戰術觀念的革新，他作戰採取了迂迴縱深、穿插包圍的方式，從最薄弱的環節對匈奴實施毀滅性的打擊。