安帝在邓太后的操纵之下，虽然登上帝位，却没有亲政，因此，等邓太后死一，安帝亲政时，他便显得能力有限。大体看来，安帝在管理朝政的五年中，先后依赖 过三种势力：安帝奶奶宋氏家族、皇后阎氏家族、宦官。安帝追尊父亲清河王刘庆为孝德帝，追尊母亲左氏为孝德后，追尊奶奶宋贵人为敬隐后；并封奶奶的四个兄 弟宋衍、宋俊、宋盖、宋暹为列侯，宋氏一族中被封为卿、校、侍中大夫、谒者、郎吏的有10多人。长乐宫宦官因当初受窦氏的指使诬陷宋贵人，安帝登基后 下令让蔡伦自己到廷尉受刑，逼得这位中国古代的发明家（四大发明之造纸术）饮毒而死。
河南荥阳人阎姬是汉安帝的皇后，她的祖父阎章的 两个妹妹都是汉明帝的贵人，阎家因此成为皇亲国戚。元初二年（115年）也就是阎姬被选入宫的第二年被册封为皇后。她的父亲阎畅被任为长水校尉，又封北宜 春侯，阎畅死后其子阎显承父业。安帝亲政后阎皇后的兄弟阎显、阎景、阎耀、阎晏都得以升迁卿、校之职，他们掌握着京师禁兵。延光元年（123年），安帝又 改封阎显为荥阳君，就连阎显、阎景那七八岁的儿子们也都被任命为黄门侍郎。阎皇后欲效仿邓太后凌驾于万人之上，她想方设法地参与朝政，安帝唯命是从，阎氏 家族一时间权倾朝野。
宦官江京因迎立安帝立下首功，被升为中常待，兼任大长秋一职，封都乡侯；李闰迁中常传，封雍乡侯；中常籍樊丰、 黄门令刘安、钩盾令陈达等也都一一有赏。安帝乳母王圣被封为野王君，其女伯荣为中使。这些人勾结在一起，敲诈勒索，行贿受贿，骄奢淫逸，无所不为，以致矫 诏的事情时有发生。安帝与内侍们亲昵，使宦官势力成为他执掌政权的依赖力量。
东汉砖画上林苑斗兽图有朝臣上疏批评、斥责王圣母女，安帝看过之后，不仅不思其过，反而将奏疏拿给王圣等人看，使王圣母女、近臣内幸对这些忠臣痛恨不已，并寻机报复。
安帝身为天子，却宁愿做一位“甩手掌柜”，倚重三方势力来打理刘家天下。这样直接导致了废长立幼、欺君罔上事件的发生，也使外戚与宦官专权的局面愈演愈烈。
