據《晉書》帝紀第01記載，司馬氏出自帝高陽之子重黎，為夏官祝融，歷唐、虞、夏、商，世序其職。及周，以夏官為司馬。其後程柏休父，周宣王時，以世官克平徐方，錫以官族，因而為氏，司馬氏變為世族權臣姓氏。到晉代成為國姓，在曹魏的魏文帝曹丕時期，司馬懿為權臣，司馬懿病逝後，其長子司馬師繼承其位置，繼續掌握魏國大權。司馬師掌權期間，連續清除異己，鞏固權力，四年之後司馬師因病早逝。因其沒有子嗣，位置就傳給了其弟弟司馬昭手裡。
到了司馬昭時代，司馬氏對曹魏的控制更為深入。儘管魏帝曹髦不甘司馬氏威脅自己帝位，召見王經等人，對他們說「司馬昭之心，路人所知也」（後演變為成語「司馬昭之心，路人皆知」），率領親兵討伐，司馬昭遂使親信賈充派遣武士成濟殺害曹髦，另立常道鄉公曹奐為傀儡皇帝，自此，政權完全為司馬氏所控制。此間司馬昭還滅掉了蜀國，為後來的三分一統歸晉打下了基礎。司馬昭掌權十年後病逝，其子司馬炎繼承其位置。
司馬炎上位之後，逼迫曹奐禪讓，改國號為晉，曹魏遂亡。公元266年，司馬炎在洛陽登基，稱晉武帝，晉朝由此開始，史稱西晉。這個時候，東吳政權還存在著。公元269年，司馬炎經過十多年的準備，發動了滅吳之戰，20萬晉軍直搗東吳都城建業（今南京）。由於準備充分，時機恰當，戰略正確，僅用了四個多月，便取得了滅吳戰爭的勝利。從此，東吳正式併入晉國版圖。三國鼎立的局面結束了。司馬炎統一了全國，結束了八十年的分裂局面。
曹奐禪讓後，被司馬炎封為陳留王，享有使用天子旌旗，行曹魏正朔，郊祀天地禮樂制度皆如魏舊，上書不稱臣，受詔不拜的特權。作為曹魏後續的陳留國（266年—479年）歷經兩晉、劉宋，傳至南齊，享國214年。
這就是晉朝建立的簡要過程。
晉朝建立後，司馬炎以洛陽為中心，在全國採取了一系列改革措施，逐步使百姓擺脫了戰亂之苦，使國家走上了正常發展之路，由此，全國出現了的一個暫短的經濟繁榮時期，史稱太康之治，又稱「太康盛世」。
司馬炎效法漢朝，實行分封制與郡縣制並行的制度。司馬炎登基的時候，一口氣封了司馬家二十七人為王。這二十七人，要麼是司馬炎的兄弟輩，要麼是司馬炎的叔叔輩，但沒有一個是司馬炎的子嗣。這些王爺權力很大，有封地和各自的軍隊，可以說是27個獨立的小王國。為後來皇帝執政埋下了隱患，最終導致了八王之亂。為什麼要實行分封制，也是迫於現實的無奈，司馬氏為世族權臣，司馬炎剛上位的時候，自身資歷和威望不足，只能依賴其家族勢力和戰功顯赫的功臣集團。司馬炎想要控制這些老輩、功臣很難。所以沒辦法採取了分封宗室的方式，讓宗室和功臣集團互相牽制，通過製造矛盾對立以便於控制時局。
司馬炎在位期間，大家相安無事，畢竟，司馬炎是開國皇帝，起碼的尊重大家還是有的。然而隨著司馬炎逐漸老去，按照古制皇位繼承人應為嫡長子，但司馬炎的長子司馬軌早逝，於是，次子司馬衷確立為繼承人，但司馬衷智力有缺陷。司馬炎一共有二十六個兒子，其他兄弟對此自然是有情緒的，這也是導致後來八王之亂的原因之一。
在司馬衷身上曾經流傳以下軼事典故：
一是「官私蛤蟆」：說有一年夏天，司馬衷與隨從到華林園去玩。他們走到一個池塘邊，聽見裡面傳出咕咕的青蛙叫聲。司馬衷覺得很奇怪，於是便問隨從這些咕呱亂叫的東西，是為官或是為私的？隨從就說：「在官家裡叫的，就是官家的；若在私家裡叫的，就是私人的。」
二是何不食肉糜：說的是有一年鬧災荒，老百姓沒飯吃，到處都有餓死的人。有人把情況報告給司馬衷，但司馬衷卻對報告人說：「沒有飯吃，他們為什麼不吃肉粥呢？」報告的人聽了，哭笑不得，災民們連飯都吃不上，哪裡來肉粥呢？由此可見司馬衷是如何的愚蠢糊塗。這樣的能力做了皇帝，其兄弟自然不服。
公元290年，司馬炎逝世，司馬衷即位，是為晉惠帝，立妃賈南風（司馬昭親信賈充之女）為皇后。歷史上著名的八王之亂，為其執政期間爆發。八王之亂的整個過程相當複雜，而且特別混亂，核心是司馬氏皇族的王爺們開始互相攻擊。其血腥和殘忍程度曠古未聞，當時社會經濟遭到嚴重的破壞，嚴重地動搖西晉王朝的統治基礎，導致了西晉亡國以及近三百年的動亂，使之後的中原北方進入十六國（五胡亂華）時期。
這次動亂共歷時十六年，分為前後兩個階段：第一階段從元康元年（291年）三月到六月，持續三個月；第二階段，從元康九年（299年）到光熙元年（306年），歷時七年。其核心人物有汝南王司馬亮、楚王司馬瑋、趙王司馬倫、齊王司馬冏、長沙王司馬乂、成都王司馬穎、河間王司馬顒、東海王司馬越八王。西晉皇族中參與這場動亂的王不止八個，但八王為主要參與者，且《晉書》將八王匯為一列傳，故史稱這次動亂為「八王之亂」。
第一個階段，賈南風聯合楚王司馬瑋（司馬炎第五子）、汝南王司馬亮（司馬懿第四子）。司馬瑋入京後，誅殺楊駿。楊駿死後，賈南風先唆使司馬瑋，幹掉了司馬亮。然後賈南風又找機會幹掉了司馬瑋，自己大權獨攬。至此，賈南風一家獨大，徹底控制了晉朝的朝堂大權，八王之亂的第一階段結束。
第二個階段，趙王司馬倫（司馬懿第九子）唆使賈南風乾掉太子。因為太子不是賈南風生的，而且素來和賈南風不和。賈南風乾掉太子後，司馬倫以替太子報仇為名，幹掉了賈南風，自己掌握了大權。
公元301年，趙王司馬倫逼迫皇帝司馬衷退位，自立為帝。同年三月，齊王司馬冏、河間王司馬顒、成都王司馬穎三王聯合常山王司馬乂（後封長沙王）伐趙王司馬倫。五月去除趙王司馬倫及其黨羽，晉惠帝復位，齊王司馬冏專政。
公元302年，成都王司馬穎及河間王司馬顒派軍討伐齊王司馬冏，長沙王司馬乂於京城洛陽響應。最後齊王司馬冏及其黨羽被除，長沙王司馬乂掌政，成都王司馬穎於鄴遙控。
公元303年，成都王司馬穎為了去除駐守京城的長沙王司馬乂，聯合河間王司馬顒率軍攻擊洛陽，但被長沙王屢屢擊敗。
公元304年初，洛陽城缺糧，東海王司馬越勾結禁軍擒長沙王，開城投降。長沙王被河間王將領張方用火烤死，成都王司馬穎迫惠帝立其為皇太弟，河間王司馬顒為太宰，東海王司馬越為尚書令。成都王勝利後，班師返鄴，政治中心北移。而後東海王越集結各方兵力，挾惠帝討伐成都王司馬穎。最後失敗，惠帝被俘，東海王逃至其封國東海（今山東郯城北），河間王將領張方占領洛陽。但不久東海王的親弟并州刺史司馬騰及幽州刺史王浚聯合異族烏丸、羯朱等勢力擊敗成都王。成都王挾晉惠帝逃至洛陽，投靠擁有關中及洛陽的河間王，最後成都王被廢，河間王改立司馬熾為皇太弟。
公元305年，東海王司馬越在山東再次起兵，西向進攻關中。
公元306年，東海王司馬越攻入洛陽。河間王司馬顒和成都王司馬穎敗走，最後相繼被殺。東海王司馬越迎晉惠帝還洛陽，隨後晉惠帝被毒死，豫章王司馬熾繼位，是為晉懷帝，由東海王司馬越專政。八王之亂至此結束。司馬越成了這場八王之亂的最終勝利者，但也拉開了五胡亂華的序幕。
在多年的角逐過程中，司馬越和司馬穎都啟動了一個更加危險的策略，就是他們發現自己的兵力不夠了，於是與邊境上的胡人聯盟，大規模動用胡人軍隊。於是，這些胡人軍隊開始深入參與到了中原的戰爭當中，在八王之亂中已經被全面攪動起來的胡人，勢力越來越大，漢人的地方軍閥勢力也已控制不住，司馬越在內憂外患中憂懼而死。他的下屬護送棺槨回封地的半路上，被胡人石勒（羯族，十六國時期後趙開國皇帝）帶兵圍住，石勒是五胡十六國當中前趙這個國家的建立者。司馬家族剩下的王公多半都在被的隊伍中，隨同十餘萬的士兵，都被石勒殲滅，司馬越的靈柩也被石勒一把火燒了。還留在洛陽的司馬王爺們，也都被石勒追上殺死。司馬氏事業急劇上升僅僅五十年之後，又斷崖式下跌，留給中原接下來數百年的慘烈動盪。
「五胡」主要指匈奴、鮮卑、羯、羌、氐五個胡人大部落，但事實上五胡是西晉末各亂華胡人的代表，數目遠非五個。五胡亂華的時間一般從成漢政權和劉氏政權建立（304年）開始算起 ，一直到鮮卑北魏統一北方（439年）。百餘年間，在北方和巴蜀先後存在著胡人和漢人的封建割據政權數達十六個，強弱不等、大小各異，史稱十六國。直到581年隋文帝楊堅建立隋朝，589年滅陳朝，方使中國結束了300年的動亂和分治。
在八王之亂時期，司馬越在此前的一個安排，意外地給司馬家族留了一個支脈。那就是在他與司馬穎爭鬥的時候，把琅琊王司馬睿派去揚州鎮守。司馬睿是老琅琊王司馬伷的後代，司馬伷是司馬懿的兒子。在中原大地火光沖天的時候，司馬睿繼續南下，來到東吳故都建康（今南京），並在中原的晉朝皇帝都被胡人捉住之後，在追隨而來的士家大族的支持下，登基稱帝，史稱東晉（公元317年-420年）。