「諸葛一生唯謹慎，呂端大事不糊塗」。 這副明代文學家李贄的自題聯語，使呂端的名字廣為傳播。
呂端:字易直。生於後唐清泰二年(公元九三五年)，卒於北宋咸平三年(公元一零零零年)。幽州安次(今河北省廊坊市)人。後晉天福八年(公元九四三年)，科舉庠生(通過科舉考試的童生)，憑藉父蔭，補千牛備身(為世家子特設虛銜，即享受朝廷俸祿的秀才)。
呂端的父親呂琦為後晉兵部侍郎。呂琦任兵部侍郎後，在家鄉安次蓋「侍郎坊」。明成祖朱棣登基，在「侍郎坊」附近建寺，依「侍郎坊」之名，為該寺取名「琅法寺」。由此安次這個地方，逐漸被「琅法寺」諧音廊坊取代。呂端的兄長本名呂胤，入宋後避宋太祖趙匡胤諱，更名呂餘慶。呂餘慶出任成都知府時，在其府邸門柱貼對聯「新年納餘慶，嘉節號長春」。此聯被學術界公認為中國歷史上首幅楹聯。後晉天福八年呂琦去世，呂端憑藉父蔭，補後晉千牛備身。
北宋建立，呂端出任浚儀知縣。散淡敦厚的呂端，時常會被同僚們玩笑般戲弄，呂端總是毫無察覺般，待他們依舊如初。因而同僚們私下稱呂端為「糊塗蛋」。
北宋至道元年（公元九九七年），呂端升任同中書門下平章事，成為北宋宰相。
呂端上任之初，有官員向其密報，朝中有官員四處傳言，說聖上讓「糊塗蛋」當了宰相。呂端當即制止道:「不要告訴我這位官員的姓名，我若得知了他的姓名，日後讓我公正對待他一定很難，還是不知為好」。
宋太宗趙光義為鍛鍊年輕的參知政事(副宰相)寇準，採取了讓寇準與呂端「分日押班知印，同升政事堂」之策。呂端欣然從命。宋真宗趙恆即位後，呂端主動讓出相位，力挺比其年幼二十五歲的寇準出任宰相，自己則改任副宰相，扶左寇準。
寇準出任宰相後，西夏李繼遷叛亂，宋軍抓捕了李繼遷母親。寇準本想呈奏，斬首李繼遷母親示眾。呂端得知後私下告知寇準:「殺了李繼遷母親，必會更加堅定李繼遷反叛之心。不如養著他的母親，使李繼遷心有忌憚」。寇準依了呂端說法。後來李繼遷母親病逝，李繼遷不敢前來，派其子李德明代為母親送葬。李德明安葬祖母后，當即歸順了宋朝。
至道元年，宋太宗趙光義駕崩。太監王繼恩赴呂端府邸，喚同中書門下平章事呂端入宮。呂端入宮後看到只有皇后李氏在太宗遺體旁，而未見太子趙恆。呂端敏銳地覺出大事不妙。
宋太宗趙光義共有三子，皇長子趙元佐患有間歇性精神病，曾在犯病時有過火焚宮殿的經歷。次子趙元僖長相性格都與趙光義相似，並在大臣中很有威望。無奈趙元僖己於淳化三年猝亡。因而趙光義在寇準的提議下，立了三子趙元侃(趙恆)為太子。
皇后李氏自己沒有子嗣，她同太監王繼恩、參知政事李昌齡、殿前都指揮使李繼勛、知制誥胡旦等，都與太子趙恆不睦。皇后李氏十七歲就跟隨宋太宗趙光義，皇長子趙元佐是其從小帶大。皇長子趙元佐犯起瘋病，只有她能制止說服。
呂端拿起笏板，悄然寫上「大漸」(病危)兩個字遞給隨從，讓他火速去見太子。然後對太監王繼恩道:「遺詔在何處」？王繼恩答:「在詔書閣」。呂端道:「速去拿來」。王繼恩走出了皇帝寢宮。皇后李氏見「糊塗蛋」呂端讓王繼恩去拿遺詔，在竊喜中頓時來了膽氣。當年宋太祖趙匡胤駕崩，本應太子趙德昭繼承皇位。就是王繼恩先喚來了趙光義，私改遺詔，才使趙光義登基大典。
皇后李氏對呂端道：「宮車已宴駕，立嗣以長，順也，今將何如」？呂端答：「先帝立太子，正為今日。今始棄天下，豈可遽違先帝之命，更有異議」？此時太子趙恆己經趕來。而小太監來報，王繼恩被呂端隨從鎖在詔書閣中，己無法脫身。皇后李氏心知改詔立趙元佐為皇帝的密謀已經敗露。當著太子趙恆的面，便不敢再與呂端爭執。
皇后李氏無奈地率領百官，擁立太子趙恆在大行皇帝靈柩前即位。但守喪的趙恆與百官之間隔著一道幕簾。呂端令大臣們不要跪拜。在眾大臣疑惑時，呂端高呼道:「請捲簾審視」。趙恆捲起了幕簾，呂端審視確認是太子趙恆後，才率領百官叩頭並高呼萬歲。眾大臣這才明白了呂端心思的縝密。他是在防範皇后李氏，在此時將太子趙恆，換為皇長子趙元佐。如果大臣們在大行皇帝靈柩前，跪拜了皇長子趙元佐，並高呼過萬歲。這種場面也將成為，皇長子趙元佐成為皇帝的事實。呂端這樣做，就是在毀滅皇后李氏最後一次翻盤機會。
因此後世讚嘆，呂端杜絕了一次由瘋子當皇帝，太后與太監執掌國柄的北宋危局。
咸平二年，呂端以太子太保致仕。
咸平三年，呂端去世，享年六十六歲。宋真宗趙恆追贈呂端司空，賜諡號:正惠。並追封呂端夫人李氏為涇國夫人，詔命呂端兒子呂藩為太子中舍人、呂荀為大理評事、呂蔚為千牛備身、呂藹為殿中省進馬。