隋炀帝艳史中说杨广喜欢过的女人至少有5个：萧后、崔氏女、陈B、宣华夫人、容华夫人。其中对萧后是“宠敬”，对崔氏女是“爱幸”，对陈B是“绝爱幸”，对姿貌无双但早逝的宣华夫人更是“深悼之”。
当然，杨广对萧后的宠敬在很大程度是为了应付母亲独孤后的需要，以及出于对正妻这个身份的尊重。地球人都知道，独孤后的悍妒之心简直就是世间少有，不只不准自己的丈夫临幸别的女人，朝中大臣宠爱自家小妾也要遭到她的谗毁，亲生儿子宠爱小妾同样要遭到她的诋毁。当杨广还是晋王的时候，为了把亲哥哥杨勇从太子之位上挤下来，自然要想着法子讨好母亲，于是表面上就装作只宠正妻萧妃一个，只和萧妃生孩子，但背地里照旧姬妾无数。
不过风流归风流，杨广没忘了要打好掩护，府中的姬妾就算有了孩子也不养。所以尽管有个善妒的母亲在一旁虎视眈眈，但演技影帝级别的杨广还是很轻松地在母亲面前表现出了一副乖巧儿子、忠贞丈夫的模样，相比之下，宠爱小妾云昭训、庶子多多的杨勇就非常不得母亲的欢心。
等太子之位一到手，悍妒的母亲也死了，杨广总算是松了一口气，对萧妃大不如以往，而正值盛年的萧妃也早在开皇6年生下南阳公主后就再也没有生育过，杨广的宠妃宠妾却日渐增多。登基后更不用说，杨广完全是撒开了欢地肆意挑选各种美女充实后宫，又重新设立了当初独孤后撤掉的三夫人、九嫔等高品级的嫔妃，后宫中有名分的嫔妃就有120人，还有无数打扮得漂漂亮亮的承衣刀人侍奉左右。至于被杨广“宠敬”的萧后，面对丈夫越来越荒唐的举止想劝也不敢劝，只能咽下百般愁苦，做了一篇《述志赋》聊以自 慰。
而成功坐上龙椅的杨广，不仅对萧后的宠爱变得淡薄了，对萧后的弟弟、萧后所生的嫡子们也越发不待见。
如萧r作为萧后的亲弟弟，隋朝的国舅，却经过几次加封才得了个正三品的银青光禄大夫的散官，对比一下兰陵公主的驸马柳述，不过是因为娶了个公主，一下子就得到了从一品的开府仪同三司这样的优厚待遇。国舅萧r还经常被杨广斥责疏远，被贬为河池郡守的时候，甚至当天就被赶出了京城。
就连杨广的嫡长子杨昭在长安受封太子时，杨广连长安都懒得回，只派了个使者前去册封。后来杨昭想要在父亲身边多留一段时间，多次上表请求，杨广都没答应。
而萧后的次子杨┰诟绺缭德太子死后，竟然遭到了父亲的猜忌。杨广唯恐杨┗岫宰约翰焕，给他配备的人员都是又老又弱，后来宇文化及造反，杨广听到外面兵荒马乱的声音，竟然对萧后说：“是不是杨┠歉霾恍⒆右逼宫了？”
相比之下，杨广的宠妃崔氏女虽然地位不及萧后尊贵，但是她的家人却因为她深得杨广宠爱，不费吹灰之力便得到了和萧家人一样的待遇。
