隋炀帝杨广从被立为太子，到登基为帝，全仗杨素一人设计谋划。炀帝即位不久，杨坚第五个儿子、汉王杨谅起兵谋反。杨素不顾年迈，亲率五千轻骑，一举荡平叛军。汉王杨谅请降，押送长安。炀帝废谅为庶民，封杨素为尚书令。
杨素自恃功高位重，难免自傲，对炀帝多有不尊之处。炀帝与宣华夫人云雨风流的寝宫，杨素也敢闯入。炀帝驾幸东京洛阳后，命人修建了显仁宫。采运各地的奇 材异石、嘉木异草、珍禽奇兽，布置在宫中。费去了百万人民的汗血，耗去了无数的府库，建成了一座美仑美奂的巨大宫殿。宫殿造成，炀帝便和萧皇后、宣华夫 人，以及后宫妃嫔，进宫游玩，并题写了宫名。
当晚，在显仁宫中赐宴王公大臣。一班逢迎的臣下，都有一番歌功颂德的话，唯有杨素见显仁宫造得这般奢华，倒惹起了隐忧，深恐炀帝有了此宫，流连忘返，整日纵情声色，误了国家大事，便进趋前席，到了炀帝座前。
炀帝见杨素到来，他们早已不拘君臣礼节，即命内侍，移过座位，与杨素坐下。早有宫女上前，给杨素斟酒。杨素正待发言进谏，炀帝却抢先跟他说： 公视这座 显仁宫，比起先帝的仁寿宫如何？ 杨素说： 仁寿宫怎能和此宫相比？只是圣上提起了仁寿宫，老臣却想起了旧事。那座仁寿宫原是先皇命老臣监造的。老臣因先 皇与先后春秋俱高，晚景须娱，便在布置上，稍事华饰。不料先皇节俭性成，竟以老臣造得太觉富丽，险些遭到严谴，幸得先后解围，才告无事。圣上春秋正富，不 比先帝须娱晚境。如今这座显仁宫，较了仁寿宫，奢华了不止十倍。老臣深恐圣上耽了声色，忘情国事，老臣不免怀了杞人的愚忧。但愿圣上，须于万机理就的余 闲，才临此清游，如先帝游幸仁寿宫一般，老臣就不胜欣幸了。
炀帝想不到杨素当着群臣，说了这么一大篇杀风景的话，心中感到非常的不 高兴。只因他是无事不知的心腹，又算是先皇的老臣，不便发言驳斥，便强作笑容说： 公言甚善，朕建造此宫，只因宇内承平无事，不比先帝当时，常有祸乱发 生。朕只是将此宫作为休养场所，原不是恣意行乐的。 杨素点头说： 只是祸患常出现在细微，漫不加察，即能酿成大祸，所谓星星之火，足以燎原，圣上终应小 心为是。
炀帝听了杨素的话，只是假意点头。杨素以为炀帝纳谏，老颜面很觉光辉，就开怀畅饮起来。炀帝却给杨素一席话，说得心中非常 地不舒服，饮酒也没有了兴致和味道，竟不待席终，便令停宴。杨素还当做炀帝听了他的谏言，不愿纵饮了，不知炀帝正怀了一肚子的气愤。当下众人告退，杨素也 走了。炀帝又命内侍，重排筵席，召萧皇后和宣华入座，方觉兴趣勃发，开怀畅饮。
哪知杨素出了显仁宫，因事忽又半途折回，重行入宫，撞 见炀帝又在欢宴，才知先前停宴是作假。炀帝见素突然又来，只好命他一同陪饮。萧皇后和宣华夫人便欲起身回避。炀帝阻止说： 杨公勋旧，二卿不须回避。 萧 皇后与宣华夫人，只得坐下来。萧后并不在意，宣华夫人却因杨素深知自己身侍文帝炀帝父子二人之事，不觉深自惭愧，低垂了粉颈，羞得抬不起头。杨素本不愿意 再饮什么酒，只是有忿炀帝，竟语与心违，欺人太甚，故饮了一杯，便不沾唇。炀帝劝他再饮，杨素严肃地说道： 老臣方才已蒙赐宴，前酒未醒，不及圣上量洪， 已命停宴，不一刻工夫，又是开筵畅饮。
炀帝见杨素语涉讽刺，只得含笑解释说： 方才是与众臣会饮，此刻却是与皇后小叙。我公不要过 谦，再来畅饮数杯。 杨素却起立说： 老臣听说酒荒色荒，俱能伤人，不但老臣偌大年纪，理当节饮，就是圣上也不宜耽情酒色。 炀帝闻言，更觉拂意，索性笑 道： 把酒消遣，还不至于有什么大害，我公何必多虑。 杨素见话不投机，十分愤怒。恰巧有个宫女上前斟酒，素袍袖一拂，意欲阻她不必加斟。袍袖拂在壶上， 宫女一个不防，失手将金壶倾翻，酒水淋湿了杨素的蟒袍。杨素正愤无可泄，便迁怒到宫女身上，勃然大怒说： 怎的如此无礼？敢在天子面前，戏弄大臣。朝廷法 度，不准宽容，望圣上即加惩罚，以儆效尤。
炀帝暗想： 这本不是宫女过错，你自己的袍袖，拂翻了酒壶，怎说是宫女戏弄大臣，便欲叫 我惩罚，我偏不听你的。 想到这里，他一任杨素发作，只是默不出声。杨素见炀帝袒护宫女，越发地怒不可遏，竟自喝令左右内侍，将宫女拉出去，愤怒地说： 国家政令，全给你们一般妇女小人弄坏了，怎能不惩？ 左右内侍，见炀帝不开口，杨素又大怒，倒觉为难万分，不知是将宫女责打的好，还是待炀帝发了话，再 打的好？便你看着我，我看着你，面面相觑。
座上的萧皇后见了这般光景，恐怕闹僵了事儿，便对 内侍说： 你们还不把这个蠢才，拿了下去，重重地打她二十宫棍。 内侍们这才遵谕发付。杨素方向炀帝说： 不是老臣无状，原要使这般宦官宫女，知道圣上虽 然仁慈，老臣还须执法相加，往后便不敢这般无礼了。 炀帝见杨素如此肆威，心中十分不悦，但因夺嗣阴谋和许多难言的事情，全仗他一人，就是不快到万分，也 只好忍耐，依旧强颜笑着说： 我公能铁面无私，使得宫廷整肃，真是朕躬的大幸了。
杨素见炀帝的话虽如此，谅也不是由衷之言，当下不 愿再留，即离座告退。炀帝巴不得他早去，也不挽留，由他自行。杨素悻悻回到了府第，对他的儿子玄感说： 今上由为父赤心扶助了他，得登大位，如今却荒淫酒 色，将来看他如何得了。我好言劝他，他反不快。我真后悔，深负了先皇！ 杨素话说完后，不禁连连叹息，玄感也是摇头欷歔。
宣华夫人死 后，炀帝万分伤感。一日懒得临朝，来到花园闲游，见到池塘中鱼儿跃动，不觉动了钓鱼的念头。便命内侍移过一把金交椅，放在池边，又命取来钓竿。炀帝便悄悄 地坐在池边，垂纶入水，只等愿者上钩。恰巧杨素为了政事进宫，听说炀帝在园中游玩，径寻到池边，见过炀帝，将应奏闻的政事，告诉一遍，即站在一旁，瞧炀帝 钓鱼。炀帝便笑道： 杨公有兴，不妨和朕同钓。 杨素觉得有味，也就不推辞，径命内侍移过一把金交椅，放在炀帝下肩，相并坐下。早有内侍呈上了钓竿，素便 理一理丝纶垂入水中。
这时正过辰牌，初夏的天气，日光渐热，炀帝即命内侍取了御盖来，遮避日光。御盖张了开来，面积颇大，恰好蔽住了 炀帝和杨素两人。按理杨素不该享此权利，应当避让。因他和炀帝脱俗惯了，炀帝也不放在心上，杨素也居之不疑。两人钓了一会儿，炀帝连得几尾小鱼，杨素钓了 多时，却没有一尾上钩。炀帝便笑着对杨素说： 我公才兼文武，淹有众长，钓鱼虽是小道，也要心定气和，才能有济。公钓了这多时刻，一尾也没钓着，谅来对于 此道，未能精通，也可算是我公的一短。
杨素钓了多时，没有鱼上钩，本来心上不耐烦，如今听了炀帝的奚落，他本是个事事好胜之人，怎肯承认己短，便应声说： 圣上钓了多时，只有小鱼上钩，老臣却要钓一大鱼，岂不大器晚成，一鸣惊人？ 炀帝听了，已是心上烦恼。
偏是事有凑巧，杨素的话，说了没有多时，便觉丝纶一动，急忙提竿，竟钓着了一尾金色大鲤鱼。杨素更是得意，即向炀帝说： 如何？老臣有志事竟成，圣上也 该替老臣欢喜。 炀帝听了，更觉恚恨万分，又见杨素坐在御盖下面，银髯飘飘，仪容秀中含威，身材魁梧，恍然有帝皇的气象，不觉忌念陡生，面上现出了怒色。
杨素瞧在眼中，赶忙起身告退。炀帝默默不语，待素行远了十多步，却故意高声说： 这个老贼，怎的如此放肆，不怕朕灭他九族不成？ 话声送到素的耳中，杨 素不由得十分恼怒，竟自作咕哝，语声也不是甚高地说： 老夫替人做的那些事，本要早诛九族的了。 炀帝听得，怒从心头起，立叫内侍，命杨素且慢出园，道圣 上尚有嘱咐。
内侍便上前唤回杨素。炀帝却怒气冲冲地回到宫中。萧皇后见炀帝面色有异，忙问所以，炀帝愤愤地说： 杨素老贼，欺朕太甚 了。 萧皇后忙问道： 他怎敢无礼，触怒圣躬？ 炀帝便将方才情形一一说了。萧皇后说： 原是杨素失礼。 炀帝愤怒地说： 可不是嘛，如今这个老贼，还等 候在园中，待朕下一手敕，逼他自尽。爱卿你看使得否？ 萧皇后慌忙说： 使不得，使不得。他虽骄肆无礼，但为先朝旧臣，又有功于圣上，今日不明不白地赐他 自尽，朝臣如何肯服。况且他的旧部甚多，他的儿子玄感，也是执掌兵权的，一旦变生肘下，怎生得了？又兼杨素是员猛将，几个内侍，都不是他的对手。圣上赐他 自尽，他必反抗，内侍们制他不住，如若漏脱出去，那时他只须一声号召，旧部全归，包围了宫城，圣上与贱妾，还望活命不成？
炀帝听了 萧皇后的话，觉得有理，不禁长叹一声说： 依了爱卿的话，原是不错，投鼠忌器，朕也顾着，只是他这般骄肆，朕便任他不成？ 萧皇后说： 圣上可徐徐图他， 不必急在一时，反生不测。就是照他年龄，也没有几年好活了，索性待他自毙罢了。 炀帝无可奈何，只好命一内侍，到园中传谕杨素，叫他自行回去，朕要嘱咐的 话，明日再说。
内侍奉命前去，杨素正站在园中疑惑，怎么唤回了老夫，他却回宫去了。那个内侍传谕了素，素却从袍角摘下一颗大珠，暗暗 塞入内侍手中，低声问道： 圣上回到宫中，可有什么话？ 内侍贪了小利，便将炀帝与萧皇后的对话，都告诉了杨素。杨素听了，非常气愤，怒气冲冲回归府第。
他的儿子玄感，见素面含怒色，忙问他原因，杨素气愤地说： 偌大郎君，由我一手提起，到了今日，竟会如此忘恩负义。 玄感听了郎君二字，知道是指炀帝。 原来杨素自恃功高，有时面对炀帝，也直呼郎君，炀帝从来不加驳斥。杨素又将事情始末，全行说出，对玄感道： 圣上对于为父，尚奈何不得。要是为父死了，将 来免不了泄愤到儿的身上，儿等还须留意才是。 玄感点头道： 这也是意中事，只好到时相机对付了。
一天过去，又到了早朝的时候。这 天炀帝又亲自临朝听政。杨素照例上朝，心中还惦记着昨天的事，不免有些悻悻。踏上了殿阶，突然一阵阴风扑面吹来，令人毛发悚然，顿觉头昏脑乱，双目发花。 他急忙镇定心神，恍惚之中，只见大殿上面，来了一个人，头戴垂络宝冕，身穿衮服，手中提着一把金钺斧，迎面走下阶来。
杨素仔细看时，正是隋主杨坚，吓得魂不附体，急待逃避，只听杨坚厉声说： 老贼逃到哪里去？你与逆子干的好事，今天特来取你狗命，你还想偷生不成？ 杨素只觉背上一痛，似是金钺猛击了一下，痛彻心肺，禁不住猛叫一声，鲜血直喷，立即晕死过去。
炀帝在宝座上面，看得甚是分明，见杨素无端变了颜色，突然回身扑倒，口吐鲜血，心中自是畅快，面上却不得不假作惊慌，传令殿前卫士，搀扶起杨素，用轿送 回家中诊治。没过多长时间，药石无效，杨素便一命归西去了。炀帝听了死讯，心中非常高兴，但是表面上还需敷衍一番，又是追赠名号，又是特赐帛麦。杨素一 生，倒也算生荣死哀，福寿全归了。
