三年，擢刑部侍郎，仍兼权吏部。时军需孔亟，户部令京师商民以赁舍金一月纳公家，惇衍以为非政体，疏乞明定限制。又疏荐广东在籍给事中苏廷魁等任筹军饷。江宁既陷，寇氛复溯江上犯，惇衍疏请敕曾国藩练楚勇，自湖南移驻武昌，杜贼窥伺荆襄；苏廷魁募粤勇援江西；袁甲三回河南防捻匪，并会同已革两广总督徐广缙募新兵堵御凤、颍，遏贼北窜诸路；多被采纳。命随同惠亲王巡防京师，调户部。五年，以父忧归。
七年，英吉利兵攻陷广州，八年正月，命惇衍及在籍太常寺卿龙元僖、给事中苏廷魁为团练大臣。十年，款议定。十一年，召来京，擢左都御史。
同治元年，两广总督劳崇光被劾任用非人，调度乖方，命惇衍偕广州将军穆克德讷按治，崇光坐罢。迁户部尚书，疏言：“吏治日坏，当奖廉惩贪。四川总督骆秉章、湖北巡抚严树森、山西布政使郑敦谨、山东按察使吴廷栋，清操较著，请奖之，以励其馀。”又疏言：“皇上求贤若渴，应诏者寥寥，即有登诸荐牍者，或由他省督抚保举，必待本省给咨，始能赴部，非所以示虚怀延揽之道。且但令封疆大吏保举，而未及京卿，恐驯致外重内轻，不可不防其渐。内阁、六部、九卿等朝廷重臣，素所亲信，必俾其各举所知，众正盈廷，然后可反危为安，转乱为治。请不必限以时日，拘以人数，但有操守廉洁，才猷卓越者，即许随时疏荐。倘所举之人，将来或犯贪污，罪其举主。”二年，兼署左都御史。
四年，兼管三库，署翰林院掌院学士。伊犁参赞大臣联捷、御史陈廷经先后论劾“陕西布政使林寿图沉湎於酒，巡抚刘蓉未谙公事，举劾悉听寿图”，及“蓉疏奏失体，漏泄密保”。命偕协办大学士瑞常赴陕西按治。惇衍等为疏辨，仅以微过议处，吏议寿图迁调，蓉革职留任。寻蓉复以他事罢，陕民为蓉、寿图讼冤，总督杨岳斌以闻。惇衍等已回京复命覆奏，遂合疏言：“刘蓉秉性朴直，办理甘肃溃勇，不动声色，悉臻妥善。甘肃乱回窜扰，遣兵分布要隘，陕民以安。林寿图身任劳怨，勤奋有为，惟参劾属员，间有轻重失当，致谤毁纷兴，而其廉洁之操，究不能稍加訾议。”诏蓉仍署巡抚，寿图来京候简用。六年，兼署工部。八年，以母忧归。十三年，卒，谥文恪。
惇衍学宗宋儒，立朝正色，抗论时事，章凡数十上，无所顾避。著有集义编、百法百戒、庸言、孔子集语等书。
郑敦谨，字小山，湖南长沙人。道光十五年进士，选庶吉士，散馆授刑部主事。再迁郎中，出为山东登州知府，擢河南南汝光道。咸丰元年，泌阳土匪乔建德踞角子山，敦谨与南阳镇总兵图塔布督兵捕获之，被议叙，署布政使。二年，授广东布政使，仍留署任。
粤匪入湖北，命赴信阳，会南阳镇总兵柏山扼要设防。三年，命河南巡抚陆应穀统兵驻南阳，会城及信阳有事，许敦谨专摺驰奏。钦差大臣琦善督师援安徽，檄敦谨总理信阳粮台。及师屯江北，粮台移设徐州，仍令敦谨往任其事。寻调授河南布政使，留筦粮台如故。四年，光州、陈州捻匪起，巡抚英桂出驻汝阳，诏敦谨赴本任。省城戒严，敦谨督率官绅倡捐经费，兴团练。皖捻犯永城、夏邑，增调兵勇防黄河各渡口，断寇北窜。寻命暂署巡抚。
五年，坐欠解甘肃两年协饷，降调。召还京，以四品京堂候补，授太常寺少卿。八年，督山东学政，累迁大理寺卿。同治元年，署户部侍郎，复出为山西布政使，调署陕西布政使，调授直隶布政使，擢河东河道总督。四年，授湖北巡抚，寻召授户部侍郎。五年，调刑部。
六年，擢左都御史。捻匪渡河入山西境，巡抚赵长龄、按察使陈湜疏防被劾，诏敦谨往按，长龄、湜并坐罢，即命敦谨署山西巡抚。七年，出省治防，移军驻泽州栏车镇，为各路策应。授工部尚书，仍留署巡抚。回匪入河套，近边震动。敦谨移驻宁武督防，别遣兵守榆林、保德下游各隘。增募炮勇，补葺河曲边墙。回匪窥包头镇，沿河堵御，会绥远城将军定安遣队迎剿，总兵张曜自河曲截击，破走之。八年，调兵部尚书，回京。
九年，调刑部。两江总督马新贻被刺，获凶犯张汶祥，江宁将军魁玉、漕运总督张之万会谳，言汶祥为洪秀全馀党，其戕新贻，别无主谋者。命敦谨往会鞫，仍以初谳上，论极刑。十年春，敦谨还京，至清江浦，上疏以病乞罢。光绪十一年，卒，谥恪慎。