从刘玄失败后，光武帝刘秀正在山东积蓄力量，还没有顾上征讨西南，关中的英雄豪杰大多归顺了公孙述。在此之后，平陵人荆邯看到如果刘秀平定中原，大军立即就会讨伐西南，劝公孙述说：“军队是古今帝王成就大业的关键，不能轻易放弃不用。隗嚣乘此机会，割据了雍州，兵强马壮，有志之士都愿意投奔，正威慑山东的刘秀，你不在这个时候乘胜出兵，与刘秀一同争夺天下，却退守西蜀，迟疑不进，想效仿西伯侯的做法，不事习武用兵，谦卑地侍奉汉君，慨叹汉君刘秀是周武王复出。现在刘秀放下汉中、益州的忧患，一心一意在平定山东之乱，天下已经得到了四分之三，致使西部州郡的英雄豪杰，都对山东的刘秀心向往之，刘秀派出离间的使者，招收心怀二心的人，天下实际已经得到了五分之四。刘秀如果派兵攻打天水，必然会使我方土崩瓦解，天水关一旦被占领，天下已经得到九分之八。君王你依靠梁州的土地，负担国家机构的各项开支和三军的粮饷，老百姓贫困不堪，怨声载道，将来恐怕会发生王凤那样的内乱。依我的愚计，趁百姓还没有对你彻底失望，英雄豪杰还可以招纳这个时候，赶快派遣国内精兵，命令田戎镇守江陵，在江南凭借巫山天险，坚固城池，把征讨的文书发到吴楚一带，长沙以南地区，一定会闻风归顺。命令延岑出兵汉中，平定三辅，天水、关西地区的人民必然拱手称臣，这样一来，就会使全国形势发生重大变化，就有可能形成极为有利的局面。”
[公孙述问计群臣，博士吴柱说：“从前周武王伐纣，八百诸侯恰好不约而同地都跟从了他，但是仍然还师等待天命。没听说过只靠左右的帮助，就想出兵千里之外以拓展疆域的。”荆邯说：“现在东帝（吴王刘秀）没有一点儿权力，指挥乌合之众，跨马杀敌，所向披靡。如果不立刻抓住时机与他争功，却坐谈武王之事，这是效仿隗嚣，想要做西伯侯那样的人。”范晔说：
“举旗起兵，假借神谕，开始创业的时候，就已经显露出他的风范了。最后终于自立于西南一角，在大国之闻生存。陇坻虽然地小势微，却能以区区的两个郡去抵御刘秀的大军，就知道他的政德有足以感化人的地方，所以能笼络四方的豪杰。功德圆满名誉就会显著，功业衰败则战乱兴起。回避成败的问题而进行讨论，还没有听说过！如果象隗嚣那样假借符命兴兵，而非依靠天助，坐论西伯侯周文王的德政是多么可笑啊！”]
公孙述不听荆邯的计策。后来光武帝刘秀派遣岑彭、吴汉征讨蜀地，攻克荆门，大军长驱直入江关。
[岑彭被蜀国的刺客杀死，吴汉把岑彭的军队都收编过来，进入犍为地界，各县都守城不出。吴汉于是进军广都，攻取了它，派遣轻骑兵火烧成都，市桥、阳武以东的各小城都投降了吴汉。光武帝刘秀告诫吴汉说：“成都有十万人口，不可以轻视它。你只管坚守广都等他们来进攻，不要与他硬拼。
如果他们不敢来攻，就设法逼迫他们，必须等他们精疲力尽，才可以进攻。”
吴汉乘有利时机，率步兵、骑兵二万多人进逼成都，在离城十多里的地方，停在江北建立营地，修浮桥。派副将刘尚率一万多人屯扎在江南，与他相距二十多里。光武帝听说，大惊失色，责备吴汉说：“敌人如果出兵牵制住你，而以大队人马进攻刘尚，刘尚被攻破，你也就失败了！侥幸没有发生意外，赶快率军回广都。”诏书还未到，公孙述果然派大将谢丰攻打吴汉，另外遣将劫击刘尚，使他不能去救吴汉。吴汉就三天闭营不出，树立很多幡旗，并使烟火不绝。夜里，率军衔枚与刘尚的军队会合，谢丰等人都没有察觉。第二天，谢丰才分兵拒守江北，自己率军攻打江南。吴汉打败了他，将他斩首。
于是吴汉率兵返回广都，把情况报告给光武帝。光武帝回答说：“你返回广都，很合时机，公孙述一定不敢分兵侵犯刘尚，攻打你。如果先攻打刘尚，你从五十里外的广都率步兵、骑兵奔赴敌前，正好赶上它疲惫、困顿，击败它是必然的。”从此，吴汉和公孙述在广都之间交战，八战八胜，于是就驻扎在城中。公孙述分发黄金、布帛，招募敢死战士五千人，以配合延岑作战。
延岑在市桥假装树起旗帜，鸣鼓向吴汉军挑战，暗地里却派奇兵从吴汉军队后面袭击，打败了吴汉。吴汉堕入水中，拽着马尾才出来。公孙述于是就亲自率军攻打吴汉，三战三胜。从早上到中午，军中战士没有吃饭，都疲惫不堪，吴汉于是趁机命令壮士突袭述军，述军大败。]到达成都，公孙述出城迎战，刚一交手就兵败，被刺穿心肺而死，公孙述的妻子儿女都被俘虏，宫室被烧毁。[光武帝听说这件事，愤怒地谴责吴汉说：“破城三天后，官吏就会服从了。一旦纵容士兵放火，斩杀良将，就违背了道义。”于是下诏安抚百姓。那些忠臣义士都受到表彰。李育因为有才干，被提拔使用。于是西土之人都心悦诚服，人心归向。范晔说：“从前赵陀自己在番禺称王，公孙述也窃取蜀汉的权柄，推想他并没有什么才能、却能最后灭亡的原因，抑或是因为地处边远地带，不能早一点受到君王德政的教化。在这种情况下他却不能趁机建立功业，因时改变策略，就只知修饰仪表，自以为谋略高深而安于现状，这是与从前吴起愧对魏侯的情况相同的。如果那时他拒绝群臣，认真审视自己兴衰的命运，又和今天顿首至地、国破投降的情形不可同日而语了。]