威权旁落本来汉宣帝临终前，已给元帝安排好了辅政大臣，第一位是外戚侍中、乐陵侯史高，另两位是太子太傅萧望之和太子少傅周堪，并提升史高为大司马车骑将军，萧望之为前将军、光禄勋，周堪为光禄大夫，三人并领尚书事。信用外戚是西汉政治长期形成的传统，宣帝也不例外。史高是宣帝祖母史良娣的侄孙，宣帝幼年时养在史家，与史高有亲密关系，因此宣帝命他握有中朝决策大权，地位最为重要。萧望之、周堪都是元帝的师傅，是当代名儒，深谙政事。萧望之又引进宗室明经达学之士刘更生（楚王刘交的后代，成帝时改名刘向）、侍中金敞共参朝政，史称“四人同心，谋议劝道，正义古制多所欲匡正”。“匡正”什么呢？就是匡正君主。在中国古代，儒家主张实行人治。孟子说过：“君仁莫不仁，君义莫不义，君正莫不正，一正君而国定矣。”他们相信，只要统治者以身作则，言传身教，为臣民垂范道德人格，就可以实现天下大治。但是，君主握有生杀予夺绝对权力，而且再没有可以对其约束的机制，那么，“天子圣明”靠什么来保证呢？儒家无法解决这个矛盾，只能奢谈“正君心是大根本”，把政治问题径直变成了一个君主的道德修养问题。所以萧望之等人就寄希望于对皇帝的教育，引导元帝努力实现儒家的“王道政治”的理想，以期改造一个国家或社会，扭转一个时期的社会风气。诚然，教育的功能不可低估，但绝不是万能的，萧望之等人太过于天真了！元帝即位不到一年，三人一体的辅政班子，就出现了裂痕。
史高以外戚之亲“领尚书事”，萧望之和周堪是他的副手。但开始时，汉元帝对自己的两位名儒师傅特别信任，萧望之等人的影响力越来越大。于是史高的心理失去平衡，与萧望之的嫌隙日深，这便为宦官石显弄权提供了条件。
在外戚、儒臣、宦官三种势力中，汉元帝始终依赖宦官，因为他认为宦官没有家室，形不成盘根错节的庞大集团。这就是元帝朝宦官石显之流得势的根本原因。加之，宦官石显善于顺风承旨，阿谀奉承，元帝可以称心如意，为所欲为。其实石显之流早有“外党”，和外戚史丹、许嘉勾结在一起，还拉拢了一批见风使舵的儒臣匡衡、贡禹、五鹿充宗等人，结成朋党。还与长安豪侠万章交往甚密。本来身体多病的元帝原想自己不理政事，而要通过宦官石显来控制大权，结果大权旁落，授柄于人，迫使萧望之自杀，周堪、刘更生被贬为庶民。
元帝之所以大权旁落，不仅在于近幸的狡猾佞巧，更在于他自身政治水平的低能。司马光评述道：“甚矣，孝元之为君，易欺而难悟也。”宦官石显的专权，实际上正是汉元帝纵容的结果。
汉匈冲突的休止符：
宣帝时期，随着汉朝国力的增强，匈奴力量一再削弱，汉匈关系发生了历史性的变化。宣帝神爵二年（前60）以后，匈奴统治集团内部出现权力之争，初有“五单于争立”，互相不容，屠戮兼并，西汉“单于天降”瓦当最后形成呼韩邪单于与郅支单于的对立。在汉元帝期间，在汉匈关系上出现了两件大事，一件是陈汤平灭郅支，一件是昭君出塞。
平灭郅支汉元帝刚即位的时候，匈奴郅支单于自以为与汉朝距离遥远，加之怨恨汉朝支持他的仇敌呼韩邪单于，就有与汉绝交之意，并且与康居王勾结起来，在都赖水（今恒逻斯河）畔兴建了一座郅支城（今江布尔），作为自己进一步扩张势力的基地。郅支将势力向汉西域发展，直接威胁汉朝在西域的统治。建昭三年（前36），新一任西域太守对匈奴发动攻击，获得大胜。至此，汉朝最后消灭了虎视西域的敌对势力。以后近40年，西域维持着和平状态，中西交通也畅通无阻。陈汤为官虽有不少劣迹，但他矫诏兴兵、平灭郅支的功绩还是应当肯定的。
昭君出塞郅支被杀之后，呼韩邪单于既为消灭政敌而高兴，又畏惧汉朝的威力。竟宁元年（前33年）正月，呼韩邪单于第三次入长安朝汉，并表示愿娶汉女为阏氏。元帝也愿意用婚姻的形式巩固汉、匈之间的友好关系，就以宫女王嫱配他为妻。
王嫱，字昭君，西晋时因避司马昭讳，改称明君，南郡秭归（今属湖北）人。昭君虽然仪容雅丽，举止端庄，但因未受皇帝封诰，所以在后宫的地位极其卑微，不受重视。如同当时绝大多数宫女一样，昭君“入宫数岁，不得见御，积悲怨”。但当历史提供机会时，她主动请行，自愿远嫁匈奴。在临行前举行的欢送仪式上，元帝见昭君丰容靓妆，光彩照人，顾影徘徊，竦动左右，不禁大为悔恨，很想把她留下，但又不便失信，只得让她随呼韩邪出塞而去。
昭君这位胆识不凡的汉家宫女，为促进汉匈民族团结，自愿出塞履行政治联姻，成为名垂青史的杰出妇女。汉元帝认为这次政治联姻可使“边陲长无兵革之事”，特意把年号改为“竟宁”，意即边境安宁之意。呼韩邪单于封王昭君为“宁胡阏氏”，“宁胡”意即“匈奴得到昭君，国家就安宁了”。从此，汉匈长期战争状态宣告结束，双方一直保持着友好的关系。长达150年的汉匈冲突，犹如一曲雄壮的交响乐，而昭君出塞则好似一个完美的“休止符”。
昭君的事迹在正史记载中仅有几十个字，但在稗官野史中的记载却非常多，而且更富于传奇色彩。《西京杂记》中有这样一段传说：“元帝后宫既多，不得常见，乃使画工图形，按图召幸之。诸宫人赂画工，多者十万，少者亦不减五万，独王嫱不肯，遂不得见。”由于画工毛延寿的卑劣行径，误了昭君的青春，害得她背井离乡，远嫁异域。
另据东汉文学家蔡邕《琴操》记载，昭君嫁到匈奴后，心思不乐，作下了一首诗歌，后人称为《昭君怨》，其中有这样的诗句：“翩翩之燕，远集西羌。高山峨峨，河水泱泱。父兮母兮，道里悠长。呜呼哀哉，忧心恻伤。”这首诗很可能是伪托之作。又传，昭君还写了一封信给元帝。信的内容如下：“臣妾幸得备身禁脔，谓身依日月，死有余芳，而失意丹青，远窜异域。诚得捐躯报之，何敢自怜？独惜国家黜陟，移于贱工，南望汉阙，徒增怆结耳！有父有弟，惟陛下少怜之。”据说元帝得书，大为动情，转而恼恨画工从中作梗，穷究其欺君之罪。画工毛延寿等五人“同日弃市”，一时京城画工几乎绝迹。王安石在他的《明妃曲》中写道：“归来却怪丹青手，入眼平生几曾有？意态由来画不成，当时枉杀毛延寿。”他一反以往归咎毛延寿欺君的正统观念，而把批判的锋芒指向了汉元帝。