三年，江南平，廷栋上疏，略曰：“万方之治乱在朝政，百工之敬肆视君心。事不贵文，贵其实；下不从令，从所好。夫治乱决於敬肆，敬肆根於喜惧。自古功成志遂，人主喜心一生而骄心已伏，宦寺有乘其喜而贡谄媚者矣，左右有乘其喜而肆蒙蔽者矣，容悦之臣有因此而工谀佞者矣，屏逐之奸有因此而巧夤缘者矣。谄媚贡则柄暗窃，蒙蔽肆则权下移，谀佞工则主志惑，夤缘巧则宵小升。於是受蛊惑，塞聪明，远老成，恶忠鲠。从前戒惧之念，一喜败之；此后侈纵之行，一喜开之。方且矜予智，乐莫违，逞独断，快从欲，一人肆於上，群小扇於下，流毒苍生，贻祸社稷，稽诸史册，后先一辙。推原其端，祗一念由喜入骄而已。军兴以来，十数省亿万生灵惨遭锋镝，即倡乱之奸民，何一非朝廷赤子？大兵所加，尽被诛夷。皇太后、皇上体上天好生之心，必有哀矜不忍喜者。况旗兵乏食，根本空虚，新疆缺饷，边陲摇动。兼之强邻偪处，邪教肆行，岂惟不可喜，而实属可惧。假使万几之馀，或有一念之肆，臣工效之，视彰瘅为故事，轻告戒为具文，积习相沿，工为粉饰，将仍成为丛脞怠荒之局矣。是非坚定刻苦，持之以恒，积数十年恭俭忧勤，有未易培国脉复元气者。夫上行必下效，内治则外安，而其道莫大於敬，其几必始於惧。惧天命无常，则不敢恃天；惧民碞可畏，则不敢玩民。惧者敬之始，敬者惧之终。大智愈明，神武愈彰，绍祖宗富有之大业，开子孙无疆之丕基，是皆由皇心之惧始而敬成也。易曰：‘危者使平，易者使倾，惧以终始，其要无咎。’诗曰：‘敬之敬之，天维显思！’可弗以为永鉴欤？”疏上，优诏嘉纳，命存其疏於弘德殿以备省览。皇太后召对时，谕曰：“皇帝冲龄践阼，国家大事，汝宜直言无隐，以无负先帝知遇。”廷栋感激出涕。五年，以衰病乞休，许之，归寓江宁。十二年，卒，年八十有一。遗疏入，诏褒其廉静自持，赐恤如例。直隶、山东皆祀名宦祠。
廷栋学以不欺为本。官臬司时，畿辅连有逆伦狱，总督虑一月频入奏干上怒，廷栋曰：“此吾侪不能教化之过，待罪不暇，敢欺饰耶？”及去官，侨居清贫，不受餽遗。著有拙修集十卷。
论曰：倭仁晚为两宫所敬礼，际会中兴，辅导冲主，兢兢於君心敬肆之间，当时举朝严惮，风气赖以维持。惟未达世变，於自强要政，鄙夷不屑言，后转为异论者所藉口。李棠阶、吴廷栋正色立朝，不负所学，翕然笙磬同音，而棠阶尤平实持大体，可谓体用兼备矣。