前112年秋，汉武帝调遣罪人和江淮以南的水兵共10万人，兵分五路进攻南越。第一路任命路博德为伏波将军，率兵从桂阳(今广东省连州市)沿湟水(今广东省境内的连江)直下。第二路任命主爵都尉杨仆为楼船将军，从豫章郡过横浦关沿浈水直下。第三路和第四路任命两个归降汉朝的南越人郑严和田甲分别为戈船将军和下厉将军，率兵从零陵(今广西壮族自治区兴安县北)出发，然后郑严的军队沿漓水直下，田甲的军队则直抵苍梧(今广西壮族自治区梧州市)。第五路以驰义侯何遗利用巴蜀的罪人和夜郎的军队，直下牂柯江。但西南夷国家多不愿出兵，甚至且兰的君主还公然反抗，杀死了汉朝使者和犍为郡太守。五路军队的最终目标皆为南越国的都城番禺。与此同时，东越王余善也向汉武帝上书请战，并派兵8000人协助杨仆进攻南越国，但东越王的军队行至揭阳时，便借口遇上风浪而不再前进，还暗中派使者向南越国报信。

　　该年冬天，即前112年与前111年之交时，杨仆率领精兵，抢先攻下寻峡，然后攻破番禺城北的石门(在今广东省广州市内)，缴获了南越国的战船和粮食，乘机向南推进，挫败南越国的先头部队，率领数万大军等候路博德的军队。路博德率领被赦的罪人，路途遥远，与杨仆会师时才到了一千多人，于是一同进军。杨仆率军队在前边，一直攻到番禺，赵建德和吕嘉都在城中固守。杨仆选择有利的地形，将军队驻扎在番禺的东南面，天黑之后，杨仆率兵攻进番禺城，放火烧城。而路博德则在城西北驻军，派使者招降南越人，南越人久闻路博德的威名，于是纷纷投奔路博德的旗下，黎明时分，城中的南越国守军大部分已向路博德投降。吕嘉和赵建德见形势不妙，在天亮之前率领几百名部下出逃，乘船沿海往西而去。路博德在询问了投降的南越人之后，才知吕嘉和赵建德的去向，并派兵追捕他们。最后，赵建德被路博德的校尉司马苏弘擒获，而吕嘉被原南越国郎孙都擒获。为安抚南越，封建德为海常侯，吕嘉为临蔡侯，以此招降南越国其它权贵。

　　吕嘉和赵建德被擒之后，南越国属下各郡县包括苍梧王赵光，桂林郡监居翁，揭阳县令史定等皆不战而向汉朝投降。郑严和田甲的军队，以及何遗调动的夜郎军队还未到达，南越国已经被平定了。这样，由赵佗创立的南越国经过93年、五代南越王之后，终于被汉朝消灭了。当平定南越的捷报传给汉武帝时，汉武帝正在前去视察缑氏县(今河南省偃师市东南)的途中，当时身处左邑县桐乡(今山西省闻喜县北)，于是汉武帝在桐乡设立了闻喜县。前111年春，吕嘉被汉军处死后将其首级呈送给汉武帝，当时汉武帝行至汲县新中乡(今河南省新乡市东)，于是汉武帝又在新中乡设立了获嘉县。同年，赵建德也被处死，其首级高悬在汉朝皇宫的北阙上。其后汉武帝还在益州郡设立嶲唐(今云南省永平县西北)、不韦(今云南省保山市东北)两县，将吕嘉的子孙和宗族迁徙过去，以绝南越后患。汉武帝在平定南越国后，将南越国领地设置了南海、苍梧、郁林、合浦、交趾、九真、日南七郡。前110年，杨仆率军从合浦郡徐闻县(今属广东省)渡海，占领了海南岛。汉朝将其设为儋耳、珠崖两郡，和前面七郡同隶属于交州刺史部。