此外，杨素治军非常严，有犯军令的人就立刻斩杀，毫不留情。他每次指挥打仗，因不听将令、违反军纪等而被斩的人，多者百余人，少者不下十人。这位 流血 盈前，言笑自若 的大将军，可谓 无情 与 冷血 。可是当陈兵尽割隋军死者之鼻以邀功求赏之时，杨素却对陈朝的俘虏实行优待政策，对俘虏不杀不辱，慰劳 后还全部释放，对陈朝百姓秋毫无犯，因此百姓对他也是非常地崇敬。
杨素不仅有着很好的武功和军事才能，而且知识渊博，博学多才，还是当时著名的诗人，只可惜他的文集已经失传，只有一些诗歌流传于世，首首都堪称精华。
当时，隋文帝杨坚对杨素非常器重，曾经这样评价他： 越国公素，识达古今，经谋长远。 隋炀帝杨广对他也是非常尊敬，也曾这样赞美他说： 夫铭功彝器，纪德丰碑，所以垂名迹于不朽，树风声于没世。
但是，虽然杨素文武双全，而且得到了两代皇帝的赞扬，但是他却娶了一位悍妇郑氏。一次杨素忍无可忍，气愤地对妻子郑氏说： 我若做天子，卿定不堪为皇 后。 郑氏竟然把这话上奏给隋文帝杨坚，这还了得，这分明有造反倾向，杨素如碰上一位心胸狭窄的皇帝可能早就因此而被株灭九族了。可是当时的隋文帝杨坚毕 竟是一个胸怀大志的帝王，把他暂且留在家里停职反省。之后不久，因杨素屡献破陈之计，又被隋文帝重用。
公元588年，隋文帝杨坚为了 完成一统中国的大业，发兵大举伐陈。隋水陆共五十余万大军由少帅杨广节制统领，分八路攻陈，而杨素并为行军元帅，指挥隋朝的水军主力。杨素一路上屡次大败 陈军，致使 江海无波 ，以至于陈人见着坐在大船上威风凛凛的杨素不仅感叹： 杨素真是个江神啊！ 隋文帝杨坚终于完成了统一中国的大业，杨素因战功显赫 被加封晋爵为越国公。
当时，陈后主的妹妹乐昌公主才色双全，嫁给陈太子舍人徐德言为妻。时当陈朝危机动荡，徐德言怕国破家亡后夫妻失 散，对妻子乐昌公主说： 以君之才容，国亡必入权豪之家，斯永绝矣。倘情缘未断，犹冀相见，宜有以信之。 于是把一铜镜分为两半，各拿一半作为日后联络的 信物和凭证。
果然不出所料，后来陈朝被灭，乐昌公主进入豪门，成为杨素的爱妾。杨素对乐昌公主宠爱有加，而徐德言却流离失所，长途跋 涉寻找自己的妻子。后来，两人终于凭着这两半破镜联络上，当乐昌公主看到徐德言在镜后题的 镜与人俱去，镜归人不归。无复嫦娥影，空留明月辉！ 这首诗 后，不禁潸然泪下。
之后，杨素听乐昌公主讲述了这段经历后不仅没有动怒，反而深受感动，于是忍痛割爱，成人之美，当即派人把徐德言找 来，将乐昌公主交还给了徐德言，让他们夫妻团圆。知道这件事的人对杨素的胸怀大度更是赞扬有加。在杨素为他们设酒饯行之时，乐昌公主赋诗一首： 今日何迁 次，新官对旧官。笑啼俱不敢，方验做人难。 后来乐昌公主与徐德言回到江南，恩爱到老。
此外，还有这样一件事，李德林的儿子李百药色 胆包天，竟夜入朝廷重臣杨素的府宅与杨素的宠妾幽会私通。结果东窗事发，被杨素逮着，杨素大怒要把李百药给杀了。但是，他忽然发现李百药是个还不到二十岁 的英俊少年，杨素一时动了恻隐之心、惜才之情，不禁对他说： 闻汝善为文，可作诗自叙，称吾意，当免汝死。 果然，李百药解绑后一气呵成，当即成文。
杨素看完后非常欣赏他的才能，竟把爱妾嫁给了李百药，还送了十万钱的嫁妆。后来，杨素竟又奏请隋文帝，授李百药为尚书礼部员外郎。李百药因此而财色兼 收，既得老婆又发了一笔横财，还因此当了官。偷人被抓得到如此结果，这在世上也是绝无仅有的，而造就这个奇迹的正是大度惜才的杨素。
杨素身边有一个十八九岁的侍妾叫红拂。她长得非常漂亮，堪称佳人。但是，她却看上了当时还是布衣身份拜访杨素的李靖，于是便偷偷地找到李靖跟着他私奔了。 李靖的舅舅是隋朝大将韩擒虎，但是事后杨素没有过度追究此事。于是这位有着英杰之表，不拘小节的越国公杨素又成全了一段才子佳人的爱情佳话。
