一、劲草感天将军屈敌
王霸家族世好文法，父亲曾任郡决曹掾，王霸年轻时也做过狱吏。但王霸不愿意当这种无所作为的小吏，平素谈吐举止慷慨有大志。其父深以为奇，便让他游学长安。
刘秀等起兵，经过颍阳，王霸带领宾客拜谒，表示愿意追随。刘秀见王霸非同常人，也特予礼待。于是王霸跟随刘秀，在昆阳击破王寻、王邑，然后还居乡里。等到刘秀被更始帝任命为司隶校尉，路经颍阳，王霸又跟随刘秀到了洛阳。刘秀任大司马，便任命王霸为功曹令史，带他徇行河北。由于形势并不乐观，当初投靠刘秀的几十个宾客渐渐离去，只有王霸矢志不移。刘秀对他说：“当年在颍川追随我的人都走了，只有您留了下来。真是疾风知劲草啊！”
王郎在邯郸起兵称帝，徇行河北的刘秀被其紧追在后，将士们都很害怕。接近滹沱河（今河北境内）时，前方侦察的军官回来报告说河面上浮着薄冰，没有船只，无法渡河，将士们愈加恐慌。刘秀又命王霸前去察看。王霸害怕惊扰部队，不如径直前进，等被阻时再说不迟，于是向刘秀报告：“冰很厚，可以走过去！”将士们听了转忧为喜，刘秀也催军前进。部队行进到河边，河冰恰已冻合。渡河后几骑人马还没有完全上岸，河冰又化解了。刘秀认为这是王霸随机应变致使天降吉祥，当即任命他为君正，赐爵关内侯。不久，刘秀到达信阳，发兵攻破邯郸，王霸追击败军，斩杀王郎，获得其印绶，被封为王乡侯。
王霸跟从刘秀平定河北，经常与臧宫、傅俊同营驻扎。三人中，王霸最为关心士卒：对死者，他脱衣收殓；对伤者，他亲手救养。刘秀即位，认为王霸爱护士卒、通晓军事，可以独当重任，便任命他为偏将军，把傅俊、臧宫的部下合在一起，也由他统管，而命臧宫、傅俊为骑都尉。建武二年，光武帝改封王霸为富波侯。
建武四年（28）秋天，光武帝派遣王霸和捕虏将军马武去讨伐梁王的部将周建。梁王的另一骁将苏茂率4000人马来援，并且先派精锐骑兵去拦截马武的粮草。马武前往解救，周建从城内冲出，与苏茂夹击。马武仗着有王霸的援助，作战时并未倾尽全力，被苏茂、周建击败。马武率军经过王霸营垒，大声呼救，王霸紧闭营门，不肯出援。将士们不满王霸的做法，跟他争执。王霸解释说：“苏茂所率全是精锐士卒，人数又多，我们将士已有点害怕；加上捕虏将军与我们互相依赖，两军号令、将士的心志也不一致，出援只会失败。现在我们闭营固守，做出不出兵的样子，敌人就会乘势冒进；而捕虏将军见没有援兵，斗志也自会倍增。时间一长，苏茂军必然疲弊，那时我们再出战，就一定能克敌制胜了！”苏茂、周建果然倾巢出动进攻马武，马武与之激战良久。这时，王霸营中路润等数十将士群情激奋，断发请战。王霸见部下锐气已盛，便率领精锐骑兵冲出营垒，猛袭敌军后阵。周建、苏茂前后受敌，惊乱败走。王霸、马武各自归营。
不久，敌人重新聚集兵力，到营前挑战。王霸坚守不出，在营中设宴犒赏将士，饮酒作乐。苏茂命部下向营中射箭，箭密如雨，把王霸面前的酒杯都射中了，王霸依然安坐不动。部下军吏都认为苏茂新败，今天出兵定能一鼓全歼。王霸却不这样看，他说：“苏茂远道而来，粮食不足，所以一再挑战，想侥幸取胜。我们关闭城门，休养士众，时日一长，敌军自败，所谓‘不战而屈人之兵’，这是上上之计。”苏茂、周建欲战未得，只好引军赶回营垒。周建的侄儿周诵在城中起事，紧闭城门，不放苏茂、周建人城。二人只好偷偷逃遁，周诵则献城降汉。
二、颇识边事建策和亲
建武五年（29）春，光武帝派太中大夫持节任命王霸为讨虏将军。建武六年，王霸屯田新安。八年，屯田函谷关，进击荥阳、中牟盗贼，平之。
建武九年（33），王霸和吴汉等四将军率兵五万，进军高柳，与卢芳（匈奴所立汉帝）部将贾览、闵堪作战。匈奴派骑兵援助卢芳。汉军遇雨，战斗失利。吴汉回洛阳，其余诸将分驻各郡，而玺书则任命王霸为上谷太守，仍率领原部，捕击胡虏，无拘郡界。第二年，王霸又与吴汉等四将军出击贾览，并和渔阳陈诉一起为诸军先锋。匈奴左南将军率领几千骑兵驰救贾览，王霸等与他在平城之下连续交锋。匈奴军败走，汉军追出塞外，斩首数百人。王霸和诸将回师人雁门，与杜茂合兵进击卢芳部将尹由，没能取胜。
建武十三年（37），光武帝改封王霸为向侯。当时，卢芳和匈奴、乌桓联手，不断滋事，寇盗连连，边境大为所苦。朝廷命令王霸率领六千多刑徒和杜茂一起修治飞狐道，堆石布土，筑起亭障，从代城（今河北蔚县东）一直延伸到平城（今山西大同），全长三百多里。
王霸屡屡与匈奴、乌桓作战，了解边疆事务。他曾数次上书，提出应与匈奴和亲交好；还曾提出可以从温水漕运，以节省陆地转输之劳。这些建议均被朝廷采行。后来，南单于、乌桓归降汉朝，北部边疆无事。
王霸在上谷长达二十多年。建武三十年（54），朝廷定封王霸为淮陵侯。永平二年（59），王霸因病去职，几月后去世。
