帝览而善之，寻皆施行。彪稍见礼遇。诏曰："彪虽宿非清第，代阙华资，然识性严聪，学博坟籍，刚辩之才，颇堪时用。兼优吏职，载宣朝美，若不赏庸叙绩，将何以劝奖勤能。特迁秘书令。以参议律令之勤，赐帛五百匹，马一匹、牛二头。"其年，加员外散骑常侍，使于齐。
齐遣其主客郎刘绘接对，并设宴乐。彪辞乐。及坐，彪曰："向辞乐者，卿或未相体。我皇孝性自天，追慕罔极，故有今者丧除之议。去三月晦，朝臣始除縗裳，犹以素服从事。裴、谢在北，固应具此。今辞乐，想卿无怪。"绘答言："请问魏朝丧礼竟何所依？"彪曰："高宗三年，孝文逾月。今圣上追鞠育之深恩，感慈训之厚德，报于殷、汉之间，可谓得礼之变。"绘复问："若欲遵古，何不终三年？"彪曰："万机不可久旷，故割至慕，俯从群议。服变不异三年，而限同一期，可谓失礼？"绘言："汰哉叔氏，专以礼许人。"彪曰："圣朝自为旷代之制，何关许人。"绘言："百官总己听于冢宰，万机何虑于旷？"彪曰："五帝之臣，臣不若君，故君亲揽其事。三王君臣智等，故共理机务。主上亲揽，盖远轨轩、唐。"彪将还，齐主亲谓彪曰："卿前使还日，赋阮诗云：'但愿长闲暇，后岁复来游。'果如今日。卿此还也，复有来理否？"彪答："请重赋阮诗曰：'宴衍清都中，一去永矣哉。'"齐主惘然曰："清都可尔，一去何事！观卿此言，似成长阔。朕当以殊礼相送。"遂亲至琅邪城，登山临水，命群臣赋诗以送别。其见重如此。彪前后六度衔命，南人奇其謇博。后为御史中尉，领著作郎。
彪既为孝文所宠，性又刚直，遂多劾纠，远近畏之。豪右屏气。帝常呼为李生，从容谓群臣曰："吾之有李生，犹汉之有汲黯。"后除散骑常侍，领御史中尉，解著作事。帝宴群臣于流化池，谓仆射李冲曰："崔光之博，李彪之直，是我国得贤之基。"
车驾南伐，彪兼度支尚书，与仆射李冲、任城王澄等参理留台事。彪素性刚豪，与冲等意议乖异，遂形于声色，殊无降下之心。冲积其前后罪过，乃于尚书省禁止彪，上表曰："案臣彪昔于凡品，特以才拔，等望清华，司文东观，绸缪恩眷，绳直宪台，左加金珰，右珥蝉冕。东省。宜感恩厉节，忠以报德。而窃名忝职，身为违傲，矜势高亢，公行僣逸。坐与禁省，冒取官材，辄驾乘黄，无所惮惧。肆志傲然，愚聋视听。此而可忍，谁不可怀。臣今请以见事免彪所居职，付廷尉狱。"冲又表曰：
臣与彪相识以来，垂二十二载。彪始南使之时，见其色厉辞辩，臣之愚识，谓是拔萃之一人。及彪官位升达，参与言宴，闻彪平章古今，商略人物。兴言于侍筵之次，启论于众英之中；赏忠识正，发言恳恻，惟直是语，辞无隐避。臣虽下愚，辄亦钦其正直。及其始居司直，执志径行，其所弹劾，应弦而倒。赫赫之威，振于下国；肃肃之称，著自京师；天下改目，贪暴敛手。然时有私于臣云其威暴者，臣以直绳之官，人所忌疾，风谤之际，易生音谣，心不承信。
往年以河阳事，曾与彪在领军府共太尉、司空及领军诸卿等集阅廷尉所问囚徒。时有人诉枉者，二公及臣少欲听采。语理未尽，彪便振怒，东坐攘袂挥赫，口称贼奴，叱吒左右。高声大呼曰："南台中取我木手去，搭奴肋折！"虽有此言，终竟不取。即言："南台所问，唯恐枉活，终无枉死。"时诸人以所枉至重，有首实者多，又心难彪，遂各默尔。因缘此事，臣遂心疑有滥，知其威虐。犹谓益多损少，故不以申彻，实失为臣知无不闻之义。及去年大驾南行以来，彪兼尚书，日夕共事，始乃知其言与行舛，是己非人，专恣无忌，尊身忽物。臣与任城卑躬曲己，其所欲者无不屈从。依事求实，悉有成验。如臣列得实，宜亟投彪于有北，以除奸矫之乱政；如臣列无证，宜放臣于四裔，以息青蝇之白黑。
帝在悬瓠，览表叹愕曰："何意留京如此也！"有司处彪大辟；帝恕之，除名而已。
彪寻归本乡。帝北幸邺，彪野服称草茅臣，拜迎邺南。帝曰："朕以卿为已死。"彪对曰："子在，回何敢死。"帝悦，因谓曰："朕期卿每以贞松为志，岁寒为心，卿应报国，尽心为用，近见弹文，殊乖所以。卿罹此谴，为朕与卿？为宰事？为卿自取？"彪曰："臣愆由己至，罪自身招，实非陛下横与臣罪，又非宰事无辜滥臣。臣罪既如此，宜伏东皋之下，不应远点属车之清尘。但伏承圣躬不豫，臣肝胆涂地，是以敢至，非谢罪而来。"帝曰："朕欲用卿，忆李仆射不得。"帝寻纳宋弁之言，将复采用。会留台表至，言彪与御史贾尚往穷庶人恂事，理有诬抑，奏请收彪。彪自言事枉，帝明彪无此，遣左右慰勉之。听以牛车散载，送之洛阳。会赦得免。