商丘市地處河南省東部，與山東、安徽兩省相鄰。
據歷史記載，商族始祖契輔佐大禹治水有功，被封於商，後來人們稱謂商族人居住過的廢墟之地叫作「商丘」。
早在公元前24世紀，五帝之一的顓頊就曾在此地建都。
商朝時期，在大約公元前1600年，契的十三世孫湯滅了夏朝，建立了商朝，初次建都於亳。
西周時期，在大約公元前1100年，周成王分封殷商後裔微子啟於商，稱為宋國，國都設在宋城。
春秋時期，通過諸侯紛爭，宋國的宋襄公幫助齊國公子昭（齊孝公）復國，成為當時的五霸之一。
戰國時期，公元前318年，宋康王實行改革，使國力強盛起來，開始向東兵伐齊國，並取得了五座城池；向南打敗楚國，獲得土地三百里；向西擊敗魏軍，攻取二城；另外滅掉了滕國，獲取其領地，當時勢不可擋，受到了三國忌恨。
在公元前286年，宋國發生內亂，齊、楚、魏三國聯手攻打宋國，齊軍抓住並殺死了宋康王，瓜分了宋國土地，從此宋國滅亡。
秦朝時期，公元前221年，秦始皇統一六國，廢除封建制，實行郡縣制，商丘隸屬於碭郡管轄。
西漢時期，在公元前202年，漢高祖時，改稱為梁國，屬於豫州管轄。
東漢時期，沒有大的變化，仍然稱為梁國。
三國時期，被魏國所統治。
隋朝時期，隋朝開國皇帝楊堅，廢除了梁郡，設置了宋州。
唐朝時期，先仍稱為宋州，後來在公元742年，唐玄宗時，設置了睢陽郡，屬於河南道管轄。
五代十國時期，後唐時，改稱為歸德郡管轄。
北宋時期，恢復設置宋州名稱，改宋州為應天府，為宋朝的陪都之一。
南宋時期，被金所占領，統治此地，將應天府改稱為歸德府。
元朝時期，為歸德府，隸屬於中書省管轄。
明朝時期，公元1368年，將府降為州，隸屬於開封府。到1545年，將歸德州恢復為歸德府，治所在商丘縣，領轄一個州，八個縣：睢州、商丘縣、寧陵縣、鹿邑縣、永城縣、虞城縣、考城縣、柘城縣、夏邑縣。
清朝時期，延續明朝行政制度，仍然稱歸德府，隸屬於河南行省。
民國時期，先廢除歸德府，設豫東道。後來廢豫東道，開始稱為商丘。
新中國成立後，1949年，改為商丘專區，永城縣劃入皖北行署區宿縣專署。下轄商丘縣、虞城、民權縣、睢縣、寧陵、夏邑、柘城7個縣。
1950年，商丘縣城關區改建為商丘市，原商丘市改為朱集市。
1952年，永城縣由皖北宿縣專區劃歸河南省商丘專區。
1953年，撤銷淮陽專區，將淮陽、太康、鹿邑、鄲城、沈丘、項城6縣劃歸商丘專區。
1965年6月，鹿邑縣與鄲城縣被劃出商丘專區，民權縣、睢縣被重新劃歸商丘專區。
1968年，改為商丘地區。
1977年10月，蘭考縣劃入商丘專區。
1980年8月，蘭考縣劃歸開封專區。
1997年6月，撤銷商丘地區改設商丘市。