十一年，文宗崩於热河行在，穆宗即位，肃顺等专政，文祥请解枢务，不许。十月，回銮，偕王大臣疏请两宫皇太后垂帘听政。同治元年，连擢左都御史、工部尚书，兼署兵部尚书，为内务府大臣，兼都统。二年，管理藩院事务。东南军事以次戡定，江苏、浙江省城克复，议加恩枢臣，固辞。三年，江宁复，首逆就歼，捷至，加太子太保，予侄凯肇员外郎。四年，署户部尚书，辞内务府大臣，允之。
是年秋，马贼入喜峰口，命文祥率神机营兵防护东陵，督诸军进剿，贼遁氵栾阳。疏陈：“地方官豢贼酿患，请除积弊，清盗源。马贼巢穴多在奉天昌图厅八面城、热河八沟哈达等处。请购线侦察，调兵掩捕，庶绝根株。”事定，回京。文宗奉安山陵，赐其子熙联员外郎。寻以母病请假三月，回旗迎养。奉天马贼方炽，命率神机营兵往剿，增调直隶洋枪队出关，约东三盟蒙古王公由北路夹击，破贼於锦州东井子。谍知贼将劫奉天狱，约期攻城，兼程驰援，贼退踞城东南，围抚顺；令总兵刘景芳夜击破之，贼遁出边。遣军趋吉林，五年春，解长春厅围，追贼至昌图朝阳坡，分三路进击，十数战皆捷，擒斩三千馀。贼首马傻子穷蹙乞降，磔之；留兵饷授将军都兴阿，俾清馀孽。请蠲奉天地丁银米，停铺捐。回京，调吏部尚书。文宗实录成，赐子熙治员外郎。
八年，丁母忧，特赐谕祭。百日假满，病未出。天津教案起，力疾还朝。十年，以吏部尚书协办大学士。十一年，拜体仁阁大学士。文祥自同治初年偕恭亲王同心辅政，总理各国事务，以一身负其责。洋情诪幻，朝论纷纭，一以忠信持之，无诿卸。洎穆宗亲政，胪陈历年洋务情形，因应机宜甚备，冀有启悟。既而恭亲王以阻圆明园工程忤旨斥罢，文祥涕泣，偕同列力谏，几同谴。恭亲王寻复职，而自屡遭挫折后，任事不能如初。文祥正色立朝，为中外所严惮，朝局赖以维持，不致骤变。十三年，病久不瘉，在告，会日本窥台湾，强出筹战守。疏请：“敕下户部、内务府宽筹饷需，裁减浮用，停不急之工作，谋至急之海防，俾部臣、疆臣皆得专力图维。皇上忧勤惕厉，斯内外臣工不敢蹈玩泄之习。否则狃以为安，不思变计，恐中外解体，人心动摇，其患有不可胜言者。”言甚切至。
是年冬，穆宗崩，德宗继统即位，晋武英殿大学士。以久病请罢，温诏慰留，解诸兼职，专任军机大臣及总理各国事务。时国家渐多故，文祥深忧之，密陈大计疏曰：“洋人为患中国，愈久愈深，而其窥伺中国之间，亦愈熟愈密。从前屡战屡和，迄无定局，因在事诸臣操纵未宜。及庚申定约，设立衙门专司其事，以至於今，未见决裂。就事论事，固当相机尽心办理，而揣洋人之用心，求驭外之大本，则不系於此，所系者在人心而已矣。溯自嘉庆年间，洋人渐形强悍，始而海岛，继而口岸，再及内地，蓄力厉精习机器，以待中国之间，一逞其欲。道光年间，肆掠江、浙，自江宁换约以后，觊觎观望。直至粤匪滋事，以为中国有此犯上作乱之事，人心不一，得其间矣。於是其谋遂泄，闯入津门，虽经小挫，而其意愈坚，致有庚申之警。然其时势局固危，民心未二，勤王之师虽非劲旅，而闻警偕来；奸细之徒虽被诱胁，而公愤同具，以是得受羁縻，成此和局。十馀年来，仰赖皇太后、皇上励精图治，宵旰勤劳，无间隙之可寻；在事诸臣始得遇事维持，未至启衅，偶有干求，尚能往返争持，不至太甚，非洋务之顺手，及在事者折冲之力，皆我皇太后、皇上朝乾夕惕，事事期符民隐，人心固结，有以折外族之心，而杜未形之患也。然而各国火器技艺之讲求益进，彼此相结之势益固。使臣久驻京师，闻我一政之当则忧，一或不当则喜，其探测愈精。俄人逼於西疆，法人计占越南，紧接滇、粤，英人谋由印度入藏及蜀，蠢蠢欲动之势，益不可遏。所伺者中国之间耳，所惎者中国大本之未摇，而人心之难违耳。说者谓各国性近犬羊，未知政治，然其国中偶有动作，必由其国主付上议院议之，所谓谋及卿士也；付下议院议之，所谓谋及庶人也。议之可行则行，否则止，事事必合乎民情而后决然行之。自治其国以此，其观他国之废兴成败亦以此。傥其国一切政治皆与民情相背，则各国始逞所欲为，取之恐后矣。如土耳其、希腊等国，势极弱小，而得以久存各大国之间者，其人心固也。强大如法国，而德国得以胜之者，以法王穷侈任性，负国债之多不可复计，虽日益额饷以要结兵心，而民心已去，始有以乘其间也。夫人必自侮而后人侮之，物必先自腐而后蟲生焉。理之所在，势所必至。中国之有外国，犹人身之有疾病，病者必相证用药，而培元气为尤要。外国无日不察我民心之向背，中国必求无事不惬於民心之是非。中国天泽分严，外国上议院、下议院之设，势有难行，而义可采取。凡我用人行政，一举一动，揆之至理，度之民情，非人心所共惬，则急止勿为；事系人心所共快，则务期於成。崇节俭以裕帑需，遇事始能有备，纳谏诤以开言路，下情藉以上通。总期人心永结，大本永固，当各外国环伺之时，而使之无一间可乘，庶彼谋不能即遂，而在我亦堪自立。此为目前犹可及之计，亦为此时不能稍缓之图。若待其间之既开，而欲为斡旋补苴之法，则和与战俱不可恃。即使仍可苟安，而大局已不堪复问，则何如预防其间之为计也。咸丰六年王茂荫奏陈夷务，谓：‘海外诸国日起争雄，自人视之，虽有中外之分，自天视之，殆无彼此之意。’引书言‘皇天无亲，惟德是辅’，及大学平天下章三言得失，首人心、次天命、而终以君心为证。何其言之危且切欤！欲戢夷心，莫要於顺民心，能顺民心，斯足以承天心，固不待蓍蔡而昭然若睹耳。臣受恩最重，办理洋务最久，实有见於洋人居心积虑之处，而现时尤为迫切紧要之关。外国之求间在此，中国之弥间亦在此。在事诸臣，仅谋其末，我皇上实操其本。用敢直陈，伏乞俯鉴刍言，将此摺时置左右，力求端本之治，以回隐患之萌。天下幸甚！”