日常生活中當想要形容一個人勤奮努力時，我們常常會使用成語「聞雞起舞」。這個成語典故出自《晉書》，說的是西晉末年兩位有志之士祖逖、劉琨同在司州擔任主簿，為了實現遠大的理想抱負，他們二人在天還沒亮的雞鳴時分便起床練劍，後來都成為了當時位高權重的大人物。可惜的是，由於官場的黑暗和時局的動盪，祖逖最終憂憤而死，劉琨則在一度官拜大將軍後遭到兄弟背叛而不幸遇害。
西晉泰始六年（270），劉琨生於中山國魏昌縣，也就是今天的河北省石家莊市無極縣一帶。和蜀漢開國皇帝劉備一樣，劉琨也是出自漢景帝之子中山靖王劉勝這一脈。和父親早逝之後只能靠織席販履維持生計的劉備不同，劉琨所在的這一支可謂長盛不衰——他的祖父劉邁官至散騎常侍，他的父親劉蕃則曾擔任光祿大夫。值得一提的是，他的母親郭氏更是晉惠帝皇后賈南風的堂姨。
或許是受到了來自祖輩的影響，史書形容劉琨道：「少得俊朗之目，與范陽祖納俱以雄豪著名。」西晉初年大富豪石崇與晉武帝舅父王愷鬥富的故事可謂家喻戶曉，堪稱富可敵國的石崇常常在金谷舉行集會，而劉琨則積極參與，並且憑藉出眾的才華得到了其他參會名士們的一致讚許。
晉武帝去世後，其子晉惠帝繼位，權力欲極強的皇后賈南風把持朝政。所謂「一人得道，雞犬升天」，賈南風外甥賈謐的地位也隨之水漲船高，引得以石崇為首的士人紛紛前去結交。劉琨本就和石崇關係親密，又與賈南風存在親屬關係，於是也跟著一同投入賈謐門下，與造成「洛陽紙貴」的左思、東吳名將陸抗第四子陸機等人並稱為「二十四友」。
永康元年（300），趙王司馬倫發動政變廢黜並殺害了賈南風，而司馬倫的世子司馬荂正好是劉琨的姐夫。借著這層關係，劉琨不但沒有受到牽連，還被封為記室督，後來又改為從事中郎。隨後，司馬倫逼迫晉惠帝退位，自己當了皇帝，他稱帝後封司馬荂為太子，而與司馬荂關係不錯的劉琨被封為了太子詹事。
沒過多久，齊王司馬冏、河間王司馬顒、成都王司馬穎聯合起兵討伐司馬倫，劉琨奉司馬倫之命率軍前往黃橋抵禦司馬穎的部隊，卻遭遇慘敗。沒過多久，司馬倫被推翻，司馬冏擁立晉惠帝復位，自己則臨朝輔政。儘管司馬倫、司馬荂父子及一眾黨羽都被處死，但劉琨卻憑藉自己以及父兄的聲望得到赦免，並先後擔任尚書左丞、司徒左長史。
此後風雲變幻，失去人心的司馬冏遭到攻殺，晉惠帝則被河間王司馬顒的部將張方挾持著前往了長安。光熙元年（306），劉琨因幫助東海王司馬越將晉惠帝迎回洛陽有功而被封為廣武侯。同年九月，司馬越封劉琨為并州刺史、加振威將軍、領匈奴中郎將，命他前往晉陽。率領自己招募的千餘人來到因為戰亂而破敗不堪的晉陽後，劉琨招撫流民、發展生產、組織建設，史載：「流人稍復，雞犬之音復相接矣。」
建興元年（313），西晉末代皇帝晉愍帝即位，劉琨被拜為大將軍、都督并州諸軍事。兩年後，晉愍帝又加封劉琨為司空、都督並、冀、幽三州諸軍事。建興四年（316），羯族首領石勒進攻并州，劉琨作戰不力丟掉并州，只好逃往幽州投奔鮮卑族出身的撫軍大將軍段匹磾，並與其聯姻，又結拜為兄弟。
同年，匈奴人劉曜攻破長安，逼迫晉愍帝投降，西晉宣告滅亡。在司馬睿南渡並建立東晉的過程中，劉琨曾派長史溫嶠前去勸進，因此司馬睿稱帝後加封其為侍中、太尉。建武元年（317），段匹磾推舉劉琨為大都督，讓他率軍前去討伐石勒，但由於段匹磾的堂弟段末波收受了石勒的賄賂而不願進軍，孤掌難鳴的劉琨只得撤軍。
次年，段未波自稱單于，並擊敗段匹磾，俘虜劉琨之子劉群。隨後，段未波讓劉群寫信勸降劉琨，許諾封其為幽州刺史。不巧的是，這封信剛好被段匹磾截獲，思慮良久後，段匹磾還是選擇了將劉琨暫且關押起來。不久，東晉權臣王敦派來使者，暗中要求段匹磾將劉琨誅殺。五月，段匹磾自稱奉皇帝旨意將劉琨處死，這位曾經為了實現理想而聞雞起舞，儘管流離失所仍然一心討伐石勒、拯救晉朝江山的有志之士就這樣被自己的結拜兄弟殺害在了獄中，終年四十八歲。