不过，地方节度使中也有个别不听话的，比如潞州节度使李筠，他出生于太原，年轻时勇健有力，擅长骑射，后唐时应募为禁 卫军，由于作战勇猛，不断得到提升。后汉时李筠已升为博州刺史。郭威发动兵变，以周代汉时，李筠和赵匡胤一样，积极拥立郭威，成为开国功臣。周世宗柴荣即 位后，李筠自恃其盘踞上党（今山西长治地区），辖有山西大片土地，居太行之脊，锁河北河南之安危无缝方管 舜冶金属，经常截留中央赋税，并大肆招纳亡命之徒于帐下。世宗念他 是前先帝旧臣，倍加忍让。
赵匡胤即位后就派使臣前往拉拢李筠，并许他加官进爵。但李筠并不领情，当时就要抗诏不从，在部下的苦劝之下，才勉强下跪接诏。当晚设宴款待朝廷使节，李筠突然命人捧上周世宗的画像，当着宋使的面拜倒在像前，痛哭流涕。
北汉国主刘钧听说李筠对宋心存异志，就派人送信，约他起兵反宋。此时，图谋反宋的淮南节度使李重进也派了亲信翟守北上，找李筠商谈共同向宋进军的事 宜。李重进没有想到翟守是个深明大局的人，翟希望国家统一，人民能够，于是在途经开封时，他向赵匡胤告密。为了避免两面受敌，赵匡胤随即派翟守 绚回扬州，劝说李重进“养威持重”，不要轻易刀戈相向。
960年四月，李筠在潞州（今山西长治）树起了反宋旗帜。他发布宣战檄文，数说赵匡胤篡周的罪状，句句都戳到了赵匡胤的痛处。赵匡胤知道，如果不能平定李筠的反抗，那后周的地方势力对新建立的宋王朝就不可能真心悦服。他决定亲率大军出战，尽快消灭李筠势力。
李筠派使者到北汉，表示愿意纳款称臣，请求其派兵援助。北汉王刘钧见到书信，亲自率兵南下，至太平驿（今长治西北）与李筠相会。哪知李筠见到刘钧仪卫寡 弱，没有帝王气象，心中就十分懊悔。他虽然以臣礼拜见汉主，却口口声声称决不负周氏旧恩。刘钧与周世宗之间是有世仇的，见李筠这样的表态，心里自然是非常 不痛快。这两人互相猜疑，两支军队也就不能协同作战了。
李筠自以为是的老将，京师禁军又多是他的同僚或部下，心想所到之处，宋将必将倒戈相迎。实际却远不是那么回事。
五月初五，赵匡胤在长平大破李筠军队，斩首三千，首战告捷。为防李筠败退至泽州（今山西晋城），赵匡胤亲率大军向前推进。太行山地区路窄石多，不便大军 行动，赵匡胤以身作则，边走边将道路上的石头放在马背以搬运开，众将士自然也不敢怠慢，只用一天的时间就开拓出一条大路。宋军进展神速，在在泽州南大败李 筠3万多人。同时，宋军又在激战中消灭了北汉的数千名援兵，斩监军使卢赞，擒河阳节度使范守图。李筠率领残军退至泽州，宋军紧追不舍。为一举拿下泽州，赵 匡胤组织了敢死队强行登城，泽州城破，李筠投火自焚而死。接着，赵匡胤又攻下潞州（今山西长治），李筠之子李守节投降。
拿下泽州后， 赵匡胤接着任命石守信为扬州行营都部署，兼知扬州行府事，与王审琦一起讨伐淮南节度使李重进。赵匡胤乘舟顺汴河东下，在泗州（今安徽泗县）登陆，直抵扬 州。此时，宋军石守信，王审琦等部已包围扬州，赵匡胤亲赴前线督战，一举将城攻破。李重进及家人在扬州城中自焚而死在平定了二李的叛乱之后，各路节度使不 敢再轻举妄动，纷纷听从赵匡胤的调遣，宋王朝在原来后周的领土上稳定了局势。
虽然内部政局得到了平定，但是在宋的辖区外，北边有实力 强盛的辽国和辽国控制下的北汉，南方有吴越、南唐、荆南、南汉、后蜀等割据政权。除去了境内的心腹之患，赵匡胤便把眼光投向了境外。实际上，他是要把周世 宗统一中国的宏图大略继续进行下去。最初，他想首先收服北汉，但朝内的文武官员却不赞成，认为这样做会直接遭遇到强盛的辽国，这对于新建立的大宋王朝来 说，有害无利。
在一个大雪纷飞的夜晚，赵匡胤突然走访。在听了宋太祖说“欲收太原”的话后，赵普沉吟良久，然后说“如果先削平南 方诸国，之后再攻北汉，到那时，区区弹丸之地，已尽在掌握中。”太祖听了非常高兴，这正是他这次夜访赵普所要的答案，于是一个先消灭南方各个割据势力，后 消灭北汉的统一战争的战略方针就确定了，即所谓“先南后北”、“先易后难”的方略。
建隆三年（962年）九月，割据湖南的武平节度使 周行逢病死，他年幼的儿子周保权继承权位，其下大将张文表盘据衡州（今湖南衡阳），乘机起兵造反，发兵攻占了潭州（今湖南长沙），企图取而代之。周保权一 面率军抵挡，一面派人向宋求援，这就给宋太祖扫平荆湖提供了一个很好的出兵机会。
太祖调遣兵将以讨伐张文表的名义从襄阳（今湖北襄 樊）出兵湖南。当时宋军挺进湖南，要经过荆南节度使高继冲割据的地方。北宋早就已经探明，这个高继冲只有3万军队，且国内政事昏乱。乾德元年（963 年），宋军兵临江陵府，要求假道过境，高继冲束手无策，仓皇出城迎接。等他再次回到江陵城的时候，发现宋军已经布满了大街小巷，他只好捧出三州十七县的图 籍，表示归顺。
此时，湖南军队已经打败了张文表的叛军。宋军却不管这个，继续向湖南进发，周保全这才意识到此次宋军其实是冲着自己来的，他赶忙组织军队固守于朗州城，但无奈大势已去，朗州很快城破，湖南全境落入宋军手中。周保权躲到澧水南岸的一个寺庙里，最终也被宋军渡江擒获。
