王承宗拒命，上令神策中尉吐突承璀为招讨使，谏官上章者十七八。居易面论，辞情切至。既而又请罢河北用兵，凡数千百言，皆人之难言者，上多听纳。唯谏承璀事切，上颇不悦，谓李绛曰："白居易小子，是朕拔擢致名位，而无礼于朕，朕实难奈。"绛对曰："居易所以不避死亡之诛，事无巨细必言者，盖酬陛下特力拔擢耳，非轻言也。陛下欲开谏诤之路，不宜阻居易言。"上曰："卿言是也。"由是多见听纳。
五年，当改官，上谓崔群曰："居易官卑俸薄，拘于资地，不能超等，其官可听自便奏来。"居易奏曰："臣闻姜公辅为内职，求为京府判司，为奉亲也。臣有老母，家贫养薄，乞如公辅例。"于是，除京兆府户曹参军。六年四月，丁母陈夫人之丧，退居下邽。九年冬，入朝，授太子左赞善大夫。
十年七月，盗杀宰相武元衡，居易首上疏论其冤，急请捕贼以雪国耻。宰相以宫官非谏职，不当先谏官言事。会有素恶居易者，掎摭居易，言浮华无行，其母因看花堕井而死，而居易作《赏花》及《新井》诗，甚伤名教，不宜置彼周行。执政方恶其言事，奏贬为江表刺史。诏出，中书舍人王涯上疏论之，言居易所犯状迹，不宜治郡，追诏授江州司马。
居易儒学之外，尤通释典，常以忘怀处顺为事，都不以迁谪介意。在湓城，立隐舍于庐山遗爱寺，尝与人书言之曰："予去年秋始游庐山，到东西二林间香炉峰下，见云木泉石，胜绝第一。爱不能舍，因立草堂。前有乔松十数株，修竹千余竿，青罗为墙援，白石为桥道，流水周于舍下，飞泉落于檐间，红榴白莲，罗生池砌。"居易与凑、满、朗、晦四禅师，追永、远、宗、雷之迹，为人外之交。每相摧游咏，跻危登险，极林泉之幽邃。至于翛然顺适之际，几欲忘其形骸。或经时不归，或逾月而返，郡守以朝贵遇之，不之责。
时元稹在通州，篇咏赠答往来，不以数千里为远。尝与稹书，因论作文之大旨曰：
夫文，尚矣，三才各有文。天之文三光首之；地之文五材首之；人之文《六经》道之。就《六经》言，《诗》又首之。何者？圣人感人心而天下和平。感人心者，莫先乎情，莫始乎言，莫切乎声，莫深乎义。诗者，根情，苗言，华声，实义。上自贤圣，下至愚騃，微及豚鱼，幽及鬼神。群分而气同，形异而情一。未有声入而不应、情交而不感者。圣人知其然，因其言，经之以六义；缘其声，纬之以五音。音有韵，义有类。韵协则言顺，言顺则声易入；类举则情见，情见则感易交。于是乎孕大含深，贯微洞密，上下通而二气泰，忧乐合而百志熙。二帝三王所以直道而行、垂拱而理者，揭此以为大柄，决此以为大窦也。故闻"元首明，股肱良"之歌，则知虞道昌矣。闻五子洛汭之歌，则知夏政荒矣。言者无罪，闻者作诫，言者闻者莫不两尽其心焉。
洎周衰秦兴，采诗官废，上不以诗补察时政，下不以歌泄导人情。用至于谄成之风动，救失之道缺。于时六义始剚矣。《国风》变为《骚辞》，五言始于苏、李。《诗》、《骚》皆不遇者，各系其志，发而为文。故河梁之句，止于伤别；泽畔之吟，归于怨思。彷徨抑郁，不暇及他耳。然去《诗》未远，梗概尚存。故兴离别则引双凫一雁为喻，讽君子小人则引香草恶鸟为比。虽义类不具，犹得风人之什二三焉。于时六义始缺矣。晋、宋已还，得者盖寡。以康乐之奥博，多溺于山水；以渊明之高古，偏放于田园。江、鲍之流，又狭于此。如梁鸿《五噫》之例者，百无一二。于时六义浸微矣！陵夷至于梁、陈间，率不过嘲风雪、弄花草而已。噫！风雪花草之物，三百篇中岂舍之乎？顾所用何如耳。设如"北风其凉"，假风以刺威虐；"雨雪霏霏"，因雪以愍征役；"棠棣之华"，感华以讽兄弟；"采采芣苡"，美草以乐有子也。皆兴发于此而义归于彼。反是者，可乎哉！然则"余霞散成绮，澄江净如练"，"归花先委露，别叶乍辞风"之什，丽则丽矣，吾不知其所讽焉。故仆所谓嘲风雪、弄花草而已。于时六义尽去矣。
唐兴二百年，其间诗人不可胜数。所可举者，陈子昂有《感遇诗》二十首，鲍防《感兴诗》十五篇。又诗之豪者，世称李、杜。李之作，才矣！奇矣！人不迨矣！索其风雅比兴，十无一焉。杜诗最多，可传者千余首。至于贯穿古今，覼缕格律，尽工尽善，又过于李焉。然撮其《新安》、《石壕》、《潼关吏》、《芦子关》、《花门》之章，"朱门酒肉臭，路有冻死骨"之句，亦不过十三四。杜尚如此，况不迨杜者乎？仆常痛诗道崩坏，忽忽愤发，或废食辍寝，不量才力，欲扶起之。嗟乎！事有大谬者，又不可一二而言，然亦不能不粗陈于左右。