史载，秦始皇的母亲赵姬行为很不检点，先是做投机商人吕不韦的小妾，怀孕两个月（多数人认为怀的就是后来的秦始皇） 后，又被吕不韦献给秦国的王孙子楚，子楚继位后称庄襄王，庄襄王死后，身为太后的她仍经常与吕不韦重温旧情。
《史记 吕不韦列传》中记载：“始皇帝益壮，太后淫不止。”后来她又与缪私通，并生下两个儿子。缪甚至于酒后大骂众臣：“我乃秦王假父，怎敢与我斗口乎？”母亲的失检行为令秦始皇恼羞成怒，无地自容，使他心理压抑，性格变得极为复杂：内向、多疑、妄想、专制、暴虐、冷酷无情，把他变成了一个失去理性的暴君，最后彻底暴发，杀了两个私生子弟弟;将五马分尸，曝尸示众;将其母赶出咸阳，并迁怒于吕不韦，罢免其相国之职，后又下诏命吕不韦“速徙蜀中，不得逗留！”并且给吕不韦写信说道：“你对秦国有何功劳？秦国封你在河南，食邑十万户。你对秦王有什么血缘关系？而号称仲父。你与家属都一概迁到蜀地去居住！”吕不韦一想到自己已经逐渐被逼迫，害怕日后被杀，就喝下鸩酒自杀而死。
因母亲带来的心理上的阴影一直伴随着秦始皇，而且由对母亲的怨愤，发展和泛化成对一切女人的仇视，造成他后来在婚姻上的偏执。尽管他的后宫里充斥着六国佳丽，但他只是把她们当作发泄和仇视的对象，或者满足生理需要的工具。
秦始皇对统一六国后收入后宫的众多佳丽非常鄙视，痛恨她们抛弃亡国之辱而媚悦新主的行径，但对守贞重节的女子却倍加赞赏。据说有一个年轻寡妇名清，她数年如一日遵守妇节，秦始皇曾赐令她“旁座”，与自己平起平坐，而秦时就连当朝丞相在皇帝面前也只能站着，少有赐座之事。秦始皇还为这名寡妇修筑了一座“怀清台”，以彰扬其事迹，至今蜀中有一山名贞女山，便是该寡妇曾经寡居的地方。
所以说，由母亲的行为而形成的心理伤害和心理扭曲，由怨母而仇视女人，是秦始皇一直不立皇后的一个重要原因。
