陆买回来报告，文帝非常高兴。直到孝景帝时，趟佗称臣，派使者按时朝拜天子。然而南粤王在其国内窃用皇帝名号如故；衹是使者朝拜天子时称王，像一般诸侯王一样接受天子之命。
到汉武帝建元四年，趟佗的孙子赵胡立为南粤王。第三年，闽粤王郢兴兵攻打南粤边境的城邑。南粤王派人向汉朝上书说： “南粤和闽粤都是天子的藩臣，不能擅自发兵互相攻击。现在束粤擅自兴兵进攻南粤，我不敢发兵，请天子下诏指示。”于是武帝赞许南粤忠义，恪守臣职，不违约制，为之发兵，派遣两名将军前往讨伐闽粤。汉朝军队还没越过山岭，闽粤王弟余善便杀死郢，投降汉朝，于是两将军罢兵。
汉武帝派严助去向南粤王说明朝廷的旨意，南粤王赵胡叩头说：“天子竟能为臣发兵诛讨闽粤，臣虽死也无法报答天子的恩德！”派太子趟婴齐入朝宿卫。趟胡对严助说：“南粤国新遭寇击，贵使者请先行一步，我正日夜整装，准备入朝拜见天子。”严助走后，南粤国的大臣劝谏赵胡说： “汉朝发兵诛讨闽粤，也藉此威吓南粤。况且先王说过，事奉天子祇求不失臣礼，重要的是不能被汉朝使者的好话迷惑而入朝拜见天子。入朝拜见天子，就不能再回来了，这是亡国的情势啊。”于是赵胡假称有病，最终没有入朝拜见天子。过了十多年，趟胡确实得了重病，太子趟婴齐请求归国。趟胡死后，加谧号为文王。
赵婴齐继立为南粤王，就把其先人僭称武帝、文帝的玺印收藏起来。趟婴齐在长安时，娶邯郸掺姓女子为妻，生下儿子趟兴。等到他即位后，就上书汉朝，请立穋姓女子为王后，赵兴为王位继承人。汉朝多次派使者委婉地劝说趟婴齐入朝拜见天子，但他仍然喜欢独揽生杀之权，为所欲为，害怕入朝拜见天子后，会像内地的诸侯那样，受到汉朝法律的约束，因此坚持推说自己有病。一直不肯入朝拜见天子，衹是派自己的儿子赵次公入朝宿卫。赵婴齐去世后，加谧号为明王。
太子赵兴即位，他的母亲穋氏为太后。僇太后在未做趟婴齐的妻子以前，曾经与霸陵县的安国少季私通。赵婴齐死后，元鼎四年，汉朝派安国少季前往劝说南粤王和王太后入朝拜见天子，又派辩士、谏大夫终军等同往陈述其辞，勇士魏臣等辅助决策，卫尉路博德率兵屯驻桂阳郡等待使者。南粤王赵兴年少，穋太后是中原人，安国少季这次出使，又与太后私通，南粤国人颇知其事，多不依附太后。太后恐怕发生变乱，也想凭藉汉朝的威力，劝说南粤王和宠幸大臣请求内属汉朝。于是通过使者上书，请求比照内地诸侯，三年入朝拜见天子一次，除去边境关防。当时天子批准了这一请求，赐给南粤丞相吕嘉银印，以及内史、中尉、太傅印，其余官职南粤可自己选置，汉朝不赐给印绶。废除南粤国原来的黥、劓等肉刑，改用汉朝的法律。汉朝的使者留下来镇抚南粤。南粤王和王太后整治行装和贵重礼物，为入朝做准备。
丞相吕嘉年纪很大了，他先后担任三代国王的丞相，宗族当中有七十多人身居要职，吕家男子都娶王女为妻，女子尽嫁王室子弟，又与苍梧秦王连姻。吕嘉在南粤国中权力很大，粤人信赖他，多为其耳目，比南粤王更得人心。南粤王上书汉朝，吕嘉多加劝阻，但王不听从。吕嘉于是有反叛之心，屡次托辞有病不见汉朝使者。使者们都注视着吕嘉，但当时形势不便杀他。南粤王和王太后也害怕吕嘉等人先发难，想通过汉朝使者的权威，谋杀吕嘉等人。于是设酒宴邀请汉朝使者，南粤大臣都奉陪坐饮。吕嘉的弟弟为将军，率领军队在宫外守候。依次斟过了酒，太后对吕嘉说： “南粤内属汉朝，是对国有利的，而丞相您嫌其不利，是什么原因呢？”想以此激怒汉朝使者。使者犹豫不决，互相观望始终没敢动手。吕嘉发现宴席上气氛不同往常，当即起身出去。太后大怒，想用矛刺杀吕嘉，被南粤王阻止。于是吕嘉出来，在他弟弟所带军队的保护下回到自己府中，声称有病，不肯会见王及汉使者，于是阴谋作乱。南粤王一向无意诛杀吕嘉，吕嘉也知道这一点，所以过了好几个月也没发难。衹有太后想杀掉吕嘉，又无力办成。
汉武帝听到此事，怪罪使者怯懦不能决断。又认为南粤王和王太后已经依附汉朝，衹有吕嘉作乱，不值得发兵，打算派庄参带二千人前往应付。庄参说：“如果抱着友好的目的去，有几个人就够了；如果为了打仗而去，二千人是办不成什么事的。”认为不可行而推辞，汉武帝便不叫庄参前去。郏县壮士、原济北国相韩千秋奋然说：“以区区南粤，又有南粤王为内应，衹有吕嘉为乱，我愿得到三百名勇士，必斩吕嘉回报。”于是汉武帝派韩千秋和南粤王太后的弟弟穋乐带二千人前往南粤。汉朝军队开入南粤境内后，吕嘉终于发动叛乱，下令南粤国中说：“国王年少，太后是中原人，又与汉朝使者私通，一心想要内属汉朝，把先王的所有宝器都奉献给汉朝天子以自作谄媚，还多带随从人员，到长安后，全都掠卖为奴。太后为自己一时之利，却不顾赵氏社稷和为子孙万代作长远打算。”吕嘉于是和他弟弟带兵杀死太后、王，又杀死所有汉朝使者。派人通知苍梧秦王及其诸郡县，立明王婴齐长男、粤妻所生之子术阳侯赵建德为王。韩千秋等所带军队进入南粤境后，攻下几个小城。以后南粤干脆让开道路，为他们提供饮食，当他们到达距番禺大约四十里的地方时，南粤便发兵攻打韩千秋的军队，把他们歼灭了。吕嘉派人把汉朝使者的符节用匣子封装好，放到边塞上，又假装友好地讲了一些骗人的话表示谢罪，同时发兵驻守要害之地。于是武帝说：“韩千秋虽然没有成功，也是军锋之冠，封他的儿子韩延年为成安侯。穋乐，他的姐姐是南粤王太后，首先愿意归属汉朝，封掺乐的儿子穋广德为乐侯。”接着颁布特赦韶书说：“天子微弱，诸侯互相争战，《春秋》讽刺人臣不为君讨伐反贼。吕嘉、趟建德等反叛，心安理得地自立自封，现命令粤人和长江、淮河以南的楼船水师十万人前往讨伐他们。”
元鼎五年秋天，卫尉路博德为伏波将军，从桂阳郡出发，下湟水；主爵都尉杨仆为楼船将军，从豫章郡出发，下横浦；原归顺汉朝被封为侯的两名南粤人分别为戈船、下濑将军，从零陵郡出发，一下离水，一抵苍梧；派驰义侯利用巴郡、蜀郡被赦罪人，调发夜郎军队，下烊柯江：各路兵马都到番禺会师。
元鼎六年冬天，楼船将军杨仆率精兵首先攻下寻陋，击破石门，获得南粤的船只和粮食，乘胜向前推进，挫败了南粤的先头部队，以数万名粤人组成的军队，等待伏波将军路博德前来会师。伏波将军统领被赦的罪人，因路途遥远而误了军期，与楼船将军会师的才一千多人，于是一起进军。楼船将军在前头，到达番禺城时，趟建德和吕嘉都在守卫此城。楼船将军自择有利地形，驻扎在城的东南面，伏波将军驻扎在城的西北面。正巧到了晚上，楼船将军打败了南粤的军队，放火烧城。南粤人久闻伏波将军的威名，因天黑也不知他带了多少兵。伏波将军便安置军营，派使者招降南粤人，投降的赐给印绶，再把他们放回，让他们招降其他南粤将士。楼船将军奋力攻烧敌军，反而把他们驱赶到伏波将军营中。到第二天黎明，城中吏民都投降了伏波将军。吕嘉、趟建德及其随从几百人趁夜色逃到海上。伏波将军查问投降的人，知道吕嘉等人逃到了什么地方，派人去追。原校尉、司马苏弘抓获了赵建德，而因功被策封为海常侯；南粤郎官都稽活捉了吕嘉，因功被策封为临蔡侯。