在朱元璋建立大明朝時，有一個人戰功卓著，清朝三朝老臣張廷玉在《明史》中不但將他和明朝開國第一功臣大將軍徐達並列於一章，甚至評價朱元璋之所以能建立明朝，他和大將軍徐達兩個人出力最多，他就是開平王常遇春。
常遇春，字伯仁。和大多數明朝開國元勛一樣，小的時候家裡很窮，吃不上飯，但是他不甘心一輩子就這樣了，就拜師學習武藝，因為那時候想要考取功名不是一般的家庭能夠承擔的起的，即使學習武藝，他也經常交不起學費，於是他就就給人家干雜工，以此來爭取學習的機會，等到成年了以後，長的的高大威猛，身材孔武有力。而且還有一身的武藝。只是這時候他依然吃不起飯。而又因為當時黃河改道流經淮河入海，使得淮河流域出現大片的洪災，再加上元朝末年賦稅嚴重，百姓無路可走，所以淮河流域的百姓率先起義反抗明朝的統治。此時的常遇春也就參加到了起義的隊伍裡面，只是不是反抗元朝的統治，而是加入到了他的家鄉周圍的綠林大盜的隊伍里，結果到了以後，雖然能吃飽飯了，但是都是搶劫老百姓的家財得來的，和常遇春的志向相差甚遠。於是他便想要另謀出路。
至正十五年（1355年），他正跟著隊伍搶劫和州，而此時朱元璋也帶領隊伍在攻打和州。他親眼目睹了朱元璋隊伍的紀律嚴明後，便想要投奔朱元璋，結果走到半路上，因為趕路太累了就躺在田間睡著了，夢裡夢到一個穿著重鎧甲手裡拿著盾牌的神仙對他說：「快起來，快起來，你的主公來了。」然後他忽然驚醒，正巧這時候朱元璋來到這裡，然後他就前去拜迎朱元璋。(語出《明史》)可是朱元璋開始有點看不起這個來投奔他的壯小伙，問他是不是吃不起飯來投奔自己的，常遇春說自己本來當盜賊不愁吃穿，只是這樣不是自己的本心，又聽說朱元璋很是賢明，於是才投奔朱元璋，朱元璋聽了很是吃驚，然後又問他能不能跟隨自己過江打仗，結果常遇春的豪言壯志使得朱元璋不敢小看眼前這個人了，常遇春說:將軍指到哪裡，我就打到哪裡，將軍要渡江，我願意做先鋒。朱元璋聽到這一番話，很是高興，也對常遇春多了幾分讚賞。
等到朱元璋準備渡江攻打城池時，元朝的軍隊列在岸邊，朱元璋的船在離岸邊十幾米遠的地方不能上岸，此時常遇春的船也來了，朱元璋大喊衝殺，常遇春二話不說拿著戈直接向前，元兵來抵擋，常遇春趁勢跳下岸去，後面的軍隊見到先鋒如此英勇，也都前赴後繼衝殺起來，終於攻克了城池。這一戰常遇春正式贏得了朱元璋對他的尊重，開始在朱元璋的隊伍裡面嶄露頭角。而在近一年的征伐之中，常遇春每每身先士卒，所以在朱元璋攻下南京以後，常遇春便升為元帥了。
而當時朱元璋任命的將帥中最顯貴的，就屬邵榮、徐達和常遇春。當時邵榮最能打又和朱元璋平級，又不甘心居於朱元璋之下，所以越來越驕橫，甚至開始和其他人密謀兵變，幸好被朱元璋發現，而當時朱元璋愛惜邵榮的本事，想要免他一死，結果常遇春找到朱元璋說：「作為臣下謀反，這怎麼能赦免呢，我發誓不會和這種人一起某事。」朱元璋聽了後流著淚和邵榮吃飯喝酒然後還是將他殺了。從這以後，朱元璋不但知道了常遇春的勇氣，還知道了他的忠心。
以後數年，常遇春屢屢以副將身份跟隨徐達征戰。等到至正二十年(1360年)前後，已經剩餘陳友諒、張士誠這倆股和朱元璋差不多的強大勢力了。同年年初，陳友諒想要一統天下，發兵攻打朱元璋，當時常遇春和徐達率重兵鎮守池州。陳友諒計劃襲取池州。徐達憑藉經驗識破陳友諒的行動，率領數萬精兵設伏，將陳友諒的部隊殺得大敗，陳友諒倖免逃走。數月之後，陳友諒捲土重來攻打朱元璋的首府應天（南京），結果又被常遇春和馮國用打敗，陳友諒再次逃走，然而，陳友諒還是不甘心，三年以後，率領六十萬大軍數百艘戰船傾巢而出，誓要消滅朱元璋。
當時陳友諒的戰船不但很大，還特別多，相比之下，朱元璋的船真是小巫見大巫，然而，朱元璋畢竟是天命所歸，部下又一個比一個英勇，尤其是常遇春和徐達，當時徐達和常遇春在攻打廬州（合肥）快要攻下的時候，陳友諒圍攻洪都，朱元璋便先讓常遇春回來幫助自己解圍洪都，結果朱元璋的戰船突然在江上擱淺了，陳友諒的大將陳定邊看到這一幕便讓大軍圍攻朱元璋的戰船，當時朱元璋數次命懸一線，這時候常遇春一劍射傷陳定邊，又讓自己的戰船撞擊朱元璋的戰船，藉此朱元璋才倖免遇難。結果常遇春自己的戰船又擱淺了，還是敗退的其他戰船撞擊常遇春的戰船才得以逃脫。又放火燒了陳友諒的戰船，死傷戰士的血將水都染成了紅色的。
等到朱元璋覺得已經能夠戰勝陳友諒了，又讓徐達回防應天，防止張士誠偷襲。然後讓常遇春率兵順江而上，堵截陳友諒的退路，結果陳友諒在突圍的時候被亂箭射死了。等到平定陳友諒後，朱元璋說常遇春的功勞最大。賞賜了他很多的財物。
等到陳友諒兵敗，張士誠也獨木難支，被徐達率領和常遇春、鄧愈、湯和等人剿滅，朱元璋根據常遇春的功勞，封他為鄂國公。此時被封為公爵的也僅有李善長和徐達兩人。
洪武元年（1368年）朱元璋平定南方後，命徐達為征虜大將軍，常遇春為征虜副將軍，率領軍隊北伐元朝。結果兵不血刃取下元大都（北京）然後又奉徐達的命令分兵攻取周圍之地，一舉將被占領數百年的幽雲之地重新收回囊中。然而，也許是天妒英才，在回師途中，常遇春突然暴斃而亡了，消息傳到京師，朱元璋聽了很是吃驚，等到遺體到達龍江，朱元璋親自迎接常遇春的遺體。還讓他陪葬在自己的孝陵。追封他為開平王。
在朱元璋一路走向帝位的過程中，常遇春可以稱得上是數一數二的功臣。然而，即使是這樣的猛人，也有缺點，那就是殺降將，這件事情是一個很不吉利的事情，比如有一次徐達和常遇春俘虜了陳友諒的敗軍三千多人，徐達說不能殺，常遇春說留著以後是禍患，然後半夜就自己偷偷坑殺了一大半將士，因為他數次殺降將，甚至於每次他出征的時候朱元璋總是提醒他不能殺降將。所以從另一方面來說也許這就是天理循環吧。
也正是因為常遇春的性格缺陷，才會導致自己的兒子即使繼承了自己的爵位，也因為身上有他的影子而不能守住爵位，而和他並稱的徐達的後世子孫一門卻有兩位公爵，並且直到明朝滅亡。相比之下。也許是個遺憾吧。所以張廷玉才會在兩人的評價中引用朱元璋的話來勸勉後人：「為將不妄殺人，豈惟國家之利，爾子孫實受其福。」