南汉国建都广州，国主叫刘鱿，十分荒淫残暴，百姓对他恨之入骨。南汉几次进犯桂阳、江华，都被潘美打败。武陵山一带的夷落(少数民族)自唐代以来，经常闹乱，潘美带兵征剿，终于稳定了这一地区的局势。乾德二年(964年)，潘美又与丁德裕率军攻克了郴州。

　　开宝三年(970年)，宋太祖又命潘美征讨南汉。宋军很快攻克了富川(今广西富川)，刘急忙派一万多人来援，被潘美军打得大败，随即又攻占了贺州。十月，潘美的部队又连续攻占了昭、桂、连三州，西江诸州都纷纷投降。潘美因为连战连胜，宋太祖提升他为南面都部署，率军进逼韶州(辖境相当于今广东韶关市以及周围八县，治所在曲江，即韶关市曲江区)。

　　韶州是广州北面的重要门户，南汉国在这里驻扎着十多万人马。潘美指挥部队进攻韶州，斩杀数万南汉军，占领了韶州。刘没有办法，于第二年二月派人请降。实际上是想拖延时间，负隅顽抗。潘美根据赵匡胤的旨意，没有答应刘鱿。刘就派他的弟弟刘保兴率兵抵抗，潘美率大军长驱直人，距广州只有120里了。南汉军15万人靠山谷布阵，准备抵抗。潘美与诸将商量说：“南汉军以竹木为屏障，如果用火攻，对方必定溃乱。然后再以精锐部队夹击，此为万全之策。”于是，分别派遣数千人。手持火炬，等到夜间，万炬齐发。正赶上刮起了大风，火借风势，剧烈地燃烧起来。南汉军惊慌失措，慌忙应战，潘美指挥大军发起攻击，南汉军大败，损失数万军士。潘美指挥大军逼近广州，兵临城下，刘鱿没有办法，放火烧了府库和宫殿，出城投降。潘美派人将刘押送到东京(今河南开封)，然后发布文告，安抚百姓。五月，宋太祖任命潘美为山南东道节度使，第二年又兼任了岭南道转运使。土豪周思琼聚众负海为乱，潘美率兵征讨，平定了叛乱。自此，岭南局势稳定下来。

　　开宝七年(974年)，宋太祖决定向南唐进兵。南唐建都金陵(今南京)，占有现在的江苏、安徽淮河以南和福建、江西、湖南、湖北东部，南唐国主就是有名的李煜。李煜自知不是宋朝的对手，所以一直向宋朝纳贡。后来，李煜自动取消了南唐国号，改称江南国主，企图维持他的统治地位，但宋太祖还是决定要除掉他。九月，宋太祖命令潘美、曹彬等率十万大军兵出荆南。临行前。宋太祖对他们说：“攻破金陵城的时候，千万不可滥杀无辜。尤其是李煜一家，要设法让他归降，不可加害。”

　　潘美与刘遇等率兵先到江陵(今湖北荆州)。十月，任命潘美为升州道行营都监，与大将曹彬一同到达秦淮。当时，因为船只还没有准备好，潘美就下令说：“我受皇上的命令。带领数万兵马征讨南唐，一定要取得胜利，怎么能因为河水阻挡而停止前进呢?”于是，他身先士卒，涉水而进，大军也跟着他抢渡秦淮河，南唐军大败。潘美指挥宋军在采石矶架设浮桥，南唐兵用二十多艘战船来阻击。潘美指挥部队奋勇出击，夺得南唐兵的战船，并俘获郑宾等七名将领，随后攻破了城南水寨，分兵把守。这天夜晚，南唐兵偷袭水营，由于潘美早有准备，南唐兵未能成功。

　　第二年夏天到秋天，宋军连连获胜，潘美、曹彬等人率大军兵临金陵城下，连续几次把南唐军打得大败。李煜非常着急，于十月、十一月两次派徐铉到开封请求延缓进占金陵的时间，宋太祖没有答应，仍诏令诸将促令李煜归附。李煜没有办法。连夜派部队数千人，手持火把来攻潘美的军队。潘美率精锐军队与敌军短兵相接，又与大将军曹彬率领军队在黎明时分攻城，一举攻克了金陵。金陵平定后，潘美被封为宣徽北院使。

　　宋太祖用了13年时间，消灭了南方五国，接着就出兵攻打北汉都城太原。由于北汉有辽国的援助，北伐没有成功。不久，宋太祖病死，他的弟弟赵匡义(赵炅)继承皇位，这就是宋太宗。

　　抗辽英雄，身背骂名几百年

　　太平兴国元年(976年)，宋太宗任命潘美为南院使。太平兴国三年(978年)，加封潘美为开府仪同三司。

　　宋太宗决心完成统一北方的事业，太平兴国四年(979年)，宋太宗亲自率领四路大军围攻北汉都城太原，并任命潘美为北路都招讨，判太原行府事。辽兵又来援助，宋太宗派兵截断了援兵的要道，把太原城包围起来。太原城里无粮草，外无救兵，北汉国主刘继元只得投降，北汉自此灭亡。刘继元手下有一名老将叫杨业，也归附了宋朝。宋太宗早就听说杨业武艺高强，英勇善战，就让杨业做了大将。由于辽军不断侵扰宋朝边境，宋太宗又派杨业为代州刺史，扼守雁门关。