淳化三年（992年）許王趙元僖暴病而死，因其嬖妾張氏專恣，呂端等王府幕僚以瀆職被降官，呂端不久複官，升樞密直學士。淳化四年（993年）六月，任參知政事。太宗想用呂端為宰相，有人說：呂端“為人胡塗”。太宗說：呂端“小事胡塗，大事不胡塗。”至道元年（995年）四月，呂蒙正罷相，呂端任宰相（獨相）。副相參知政事自開寶六年進步權柄後，能夠在太宗初年職位又降落，呂端因與寇準同時升任參知政事，而本身先升為宰相，向太宗提出“臣兄餘慶任參知政事日，悉與宰不異，願複故事”。今後，參知政事與宰相分日知印、押正衙班，並且將本來上朝的磚位與宰相合而為一，遂成軌製。

呂端（935年～1000年），字易直，呂餘慶弟，以蔭入仕，後周時任至著作佐郎、直史館。宋太祖時任至成都知府，開寶九年宋太宗即位後，皇弟趙廷美，封齊王，任開封府尹，呂端後被調任開封府判官，進入趙廷美幕府。承平興國四年，宋太宗親征北漢，原擬以皇弟趙廷美主持留守事件，呂端為趙廷美出謀以為應當從征，趙廷美從征掉隊封秦王。次年，呂端因秦王府親吏拜托違詔市竹木而被貶官。雍熙三年（986年）太宗次子趙元僖任開封尹，呂端再次任開封府判官，成為許王趙元僖的幕僚。

至道元年八月，宋太宗立第三子壽王趙元侃（恒）為太子，這是宋朝初次立太子。至道三年三月，宋太宗病危時，曾經幫忙宋太宗奪位的大寺人王繼恩，又想故伎重演，說動李皇後，並與參知政事李昌齡等，謀立太宗宗子楚王趙元佐為帝。太宗身後，李皇後派王繼恩召宰相呂端。呂端“知有變”，遂鎖王繼恩於閣內，並派人看管。呂端入宮後，李皇後提出“立嗣以長”題目與呂端商討，呂端以為太宗立太子恰是為了今後帝位的擔當，遂奉太子趙恒為帝，是為真宗。“真宗既立，垂簾引見群臣”。呂端因恐寺人們以楚王趙元佐冒充趙恒，呂端“平立殿下不拜”，請捲簾，並上殿檢察無誤後下殿，帶領群臣拜呼萬歲。宋朝皇位初次普通擔當，也是第一次由宰相參與定見的皇位擔當，在宰相呂端主持下順利停止。太宗時放肆一世的大寺人王繼恩終究被貶官，安設於均州（今湖北十堰東北），後死於貶所。鹹平元年（998年）十月，呂端因病以太子太保罷相，仍享用宰相俸祿的特彆禮遇。鹹平三年（1000年）死，長年66歲，諡正惠。