一、起身北地喋血黄巾
皇甫嵩是度辽将军皇甫规的侄儿，父亲名叫皇甫节，曾任雁门太守。皇甫嵩少年时，喜好《诗》《书》，谙习弓马，志向远大。后被察举为孝廉、茂才。太尉陈蕃、大将军窦武相继聘他为官，他都没有应召。灵帝公车召他为侍郎，升任北地太守。
黄巾起义爆发后，东汉朝廷惶恐不安，马上采取镇压措施。皇甫嵩建议解除党禁，赦免天下党人，拿出中藏钱和西园厩马赐给将士。汉灵帝起用卢植为北中郎将、皇甫嵩为左中郎将、朱为右中郎将，调发全国精兵分击黄巾军。皇甫嵩与朱调发五校（北军五校，为朝廷主要常备军，即屯骑、越骑、步兵、长水、射声五校尉所将宿卫兵）三河（河东、河内、河南）骑兵，同时招募精壮之士，共计四万多人。二人各率一部，共同镇压颍川黄巾军。朱先与黄巾军波才部作战，失败。皇甫嵩退守长社（今河南长葛东北），被波才率大兵包围。当时，城中兵少，众寡悬殊，军中震恐。皇甫嵩安慰部下说：“用兵应有奇变，不在人多人少。如今波才依草结营，宜用火攻。如果乘夜烧之，敌兵必然惊乱。那时出兵，四面围攻，可奏田单之功。”当晚起了大风，皇甫嵩命令将士扎好火把登上城墙，先派精锐潜出围外纵火大呼，然后城上点燃火把与之呼应，接着借此声势鸣鼓冲出。黄巾军缺乏战斗经验，惊慌散乱，被迫后撤。接着，皇甫嵩又和朱一起乘胜镇压汝南、陈国地区的黄巾军，并追击波才、进攻彭脱，连连取胜，平定了三郡之地。
这时，黄巾军首领张角占据广宗，控制河北腹地，卢植、前往镇压，先后败归。朝廷下诏命皇甫嵩率兵进击。在这紧要关头，张角病死，其弟张梁担起守卫广宗的重任。皇甫嵩攻城未能得手，便闭营休士，以观其变。等到张梁放松了警惕，皇甫嵩立即乘夜调兵，鸡鸣时分冲入其阵。黄巾军仓促应战，张梁战死，阵亡三万多人，投河而死的有五万多人。十一月，皇甫嵩伙同钜鹿太守冯翊攻克曲阳，杀死张角的另一个弟弟张宝，斩杀俘虏十多万人。汉廷任皇甫嵩为左车骑将军，领冀州牧，并晋封他为槐里侯，食槐里、美阳两县共8000户。
平定黄巾之后，皇甫嵩奏请冀州一年田租，用以赡养饥民，汉献帝许之。史载百姓作歌说：“天下大乱兮市为墟，母不保子兮妻失夫，赖得皇甫兮复安居。”
二、违忤逆臣几至诛灭
皇甫嵩镇压黄巾威震天下，而当时朝政日非、海内空虚，因此汉阳人阎中劝他把握机会，南面称制。皇甫嵩不用其计。
当初皇甫嵩征讨张角时，途经邺地，发现中常侍赵忠住宅超过了规定，便上奏皇帝予以没收。另外，中常侍张让向他索要5000万钱，他不肯给。于是赵忠和张让联起手来，劾奏皇甫嵩连战无功，耗费钱粮。灵帝听信谗言，召回皇甫嵩，收回他的左车骑将军印绶，削夺封户6000户，改封都乡侯，食邑2000户。
中平五年（188）十一月，凉州人王国包围陈仓（今陕西宝鸡东），灵帝用人之际，又任命皇甫嵩为左将军，督率前将军董卓，各率两万士兵拒敌。董卓提出迅速进赴陈仓，皇甫嵩却主张以逸待劳。王国率兵围攻陈仓八十多天，但由于城坚守固，最后也未能攻下，只好于中平六年二月解围撤退。皇甫嵩立即起兵追击。董卓劝阻，认为穷寇勿迫，归众莫追。皇甫嵩认为王国之军是疲弊之师，并非归众，便独自率兵追击，命董卓殿后。皇甫嵩连战连捷，大破王国部众。董卓又惭愧又遗憾，愈加忌恨皇甫嵩。
汉灵帝病重，任命董卓为并州牧，让他把部队交给皇甫嵩统领。董卓不肯奉命。皇甫嵩的侄儿皇甫郦认为董卓逆命怀奸，罪在不赦，力劝皇甫嵩兴兵讨伐。皇甫嵩说：“董卓违命不尊，固然有罪；我若不奏擅讨，同样有违制度。还是奏明其事，由朝廷裁决吧！”于是上表。朝廷责备董卓，董卓对皇甫嵩更增怨恨。
后来，董卓秉政，征召皇甫嵩为城门校尉，想寻找机会杀掉他。皇甫嵩应召将行，长史梁衍劝他起兵抗拒董卓，与呼应。皇甫嵩不听。皇甫嵩一到，主管官员便秉承董卓之意，上奏朝廷，将他交付审判。皇甫嵩的儿子皇甫坚寿与董卓有交情，从长安跑到洛阳求情。当时董卓正大会宾朋，皇甫坚寿抢步向前，与他辩理，且责以大义，叩头落泪。在座的宾客深受感动，纷纷替皇甫嵩求情。董卓这才离席而起，拉皇甫坚寿和自己同坐，并派人释放皇甫嵩，任命他为议郎。后又升任御史中丞。
初平二年（191）四月，董卓到长安，公卿百官在道边迎接。董卓暗示御史中丞以下官员都迎拜车下，以此来屈降皇甫嵩意气，然后又拉着他的手问：“义真，你害怕了没有？”皇甫嵩回答：“倘若您用盛德辅佐朝廷，大的祥庆正将到来，有什么可害怕的？倘若您滥用刑罚，逞其私志，那么天下都要恐惧，不单我一个人！”
董卓被杀之后，朝廷任命皇甫嵩为征西将军，不久改任车骑将军，这年秋天，升任太尉。冬天，因为流星出现，被策免。此后，又任光禄大夫、太常等职。兴平二年（195）病卒，朝廷赠以骠骑将军印绶。
