祜缮甲训卒，广为戎备。至是上疏曰：“先帝顺天应时，西平巴蜀，南和吴会，海内得以休息，兆庶有乐安之心。而吴复背信，使边事更兴。夫期运虽天所授，而功业必由人而成，不一大举扫灭，则众役无时得安。亦所以隆先帝之勋，成无为之化也。故尧有丹水之伐，舜有三苗之征，咸以宁静宇宙，戢兵和众者也。蜀平之时，天下皆谓吴当并亡，自此来十三年，是谓一周，平定之期复在今日矣。议者常言吴楚有道后服，无礼先强，此乃谓侯之时耳。当今一统，不得与古同谕。夫适道之论，皆未应权，是故谋之虽多，而决之欲独。凡以险阻得存者，谓所敌者同，力足自固。苟其轻重不齐，强弱异势，则智士不能谋，而险阻不可保也。蜀之为国，非不险也，高山寻云霓，深谷肆无景，束马悬车，然后得济，皆言一夫荷戟，千人莫当。及进兵之日，曾无籓篱之限，斩将搴旗，伏尸数万，乘胜席卷，径至成都，汉中诸城，皆鸟栖而不敢出。非皆无战心，诚力不足相抗。至刘禅降服，诸营堡者索然俱散。今江淮之难，不过剑阁；山川之险，不过岷汉；孙皓之暴，侈于刘禅；吴人之困，甚于巴蜀。而大晋兵众，多于前世；资储器械，盛于往时；今不于此平吴，而更阻兵相守，征夫苦役，日寻干戈，经历盛衰，不可长久，宜当时定，以一四海。今若引梁益之兵水陆俱下，荆楚之众进临江陵，平南、豫州，直指夏口，徐、扬、青、兖并向秣陵，鼓旆以疑之，多方以误之，以一隅之吴，当天下之众，势分形散，所备皆急，巴汉奇兵出其空虚，一处倾坏，则上下震荡。吴缘江为国，无有内外，东西数千里，以籓篱自持，所敌者大，无有宁息。孙皓孙恣情任意，与下多忌，名臣重将不复自信，是以孙秀之徒皆畏逼而至。将疑于朝，士困于野，无有保世之计，一定之心。平常之日，犹怀去就，兵临之际，必有应者，终不能齐力致死，已可知也。其俗急速，不能持久，弓弩戟盾不如中国，唯有水战是其所便。一入其境，则长江非复所固，还保城池，则去长入短。而官军悬进，人有致节之志，吴人战于其内，有凭城之心。如此，军不逾时，克可必矣。”帝深纳之。
会秦凉屡败，祜复表曰：“吴平则胡自定，但当速济大功耳。”而议者多不同，祜叹曰：“天下不如意，恆十居七八，故有当断不断。天与不取，岂非更事者恨于后时哉！”
其后，诏以泰山之南武阳、牟、南城、梁父、平阳五县为南城郡，封祜为南城侯，置相，与郡公同。祜让曰：“昔张良请受留万户，汉祖不夺其志。臣受钜平于先帝，敢辱重爵，以速官谤！”固执不拜，帝许之。祜每被登进，常守冲退，至心素着，故特见申于分列之外。是以名德远播，朝野具瞻，搢绅佥议，当居台辅。帝方有兼并之志，仗祜以东南之任，故寝之。祜历职二朝，任典枢要，政事损益，皆谘访焉，势利之求，无所关与。其嘉谋谠议，皆焚其草，故世莫闻。凡所进达，人皆不知所由。或谓祜慎密太过者，祜曰：“是何言欤！夫入则造膝，出则诡辞，君臣不密之诫，吾惟惧其不及。不能举贤取异，岂得不愧知人之难哉！且拜爵公朝，谢恩私门，吾所不取。”
祜女夫尝劝祜“有所营置，令有归戴者，可不美乎？”祜默然不应，退告诸子曰：“此可谓知其一不知其二。人臣树私则背公，是大惑也。汝宜识吾此意。”尝与从弟琇书曰：“既定边事，当角巾东路，归故里，为容棺之墟。以白士而居重位，何能不以盛满受责乎！疏广是吾师也。”
祜乐山水，每风景，必造岘山，置酒言咏，终日不倦。尝慨然叹息，顾谓从事中郎邹湛等曰：“自有宇宙，便有此山。由来贤达胜士，登此远望，如我与卿者多矣！皆湮灭无闻，使人悲伤。如百岁后有知，魂魄犹应登此也。”湛曰：“公德冠四海，道嗣前哲，令闻令望，必与此山俱传。至若湛辈，乃当如公言耳。”
祜当讨吴贼功，将进爵土，乞以赐舅子蔡袭。诏封袭关内侯，邑三百户。
会吴人寇弋阳、江夏，略户口，诏遣侍臣移书诘祐不追讨之意，并欲移州复旧之宜。祜曰：“江夏去襄阳八百里，比知贼问，贼去亦已经日矣。步军方往，安能救之哉！劳师以免责，恐非事宜也。昔魏武帝置都督，类皆与州相近，以兵势好合恶离。疆埸之间，一彼一此，慎守而已，古之善教也。若辄徙州，贼出无常，亦未知州之所宜据也。”使者不能诘。
祜寝疾，求入朝。既至洛阳，会景献宫车在殡，哀恸至笃。中诏申谕，扶疾引见，命乘辇入殿，无下拜，甚见优礼。及侍坐，面陈伐吴之计。帝以其病，不宜常入，遣中书令张华问其筹策。祜曰：“今主上有禅代之美，而功德未着。吴人虐政已甚，可不战而克。混一六合，以兴文教，则主齐尧舜，臣同稷契，为百代之盛轨。如舍之，若孙皓不幸而没，吴人更立令主，虽百万之众，长江未可而越也，将为后患乎！”华深赞成其计。祜谓华曰：“成吾志者，子也。”帝欲使祜卧护诸将，祜曰：“取吴不必须臣自行，但既平之后，当劳圣虑耳。功名之际，臣所不敢居。若事了，当有所付授，愿审择其人。”
疾渐笃，乃举杜预自代。寻卒，时年五十八。帝素服哭之，甚哀。是日大寒，帝涕泪沾须鬓，皆为冰焉。南州人征市日闻祜丧，莫不号恸，罢市，巷哭者声相接。吴守边将士亦为之泣。其仁千所感如此。赐以东园秘器，朝服一袭，钱三十万，布百匹。诏曰：“征南大将军南城侯祜，蹈德冲素，思心清远。始在内职，值登大命，乃心笃诚，左右王事，入综机密，出统方岳。当终显烈，永辅朕躬，而奄忽殂陨，悼之伤怀。其追赠侍中、太傅，持节如故。”
祜立身清俭，被服率素，禄俸所资，皆以赡给九族，赏赐军士，家无余财。遗令不得以南城侯印入柩。从弟琇等述祜素志，求葬于先人墓次。帝不许，赐去城十里外近陵葬地一顷，谥曰成。祜丧既引，帝于大司马门南临送。祜甥齐王攸表祜妻不以侯敛之意，帝乃诏曰：“祜固让历年，志不可夺。身没让存，遗操益厉，此夷叔所以称贤，季子所以全节也。今听复本封，以彰高美。”
初，文帝崩，祜谓傅玄曰：“三年之丧，虽贵遂服，自天子达；而汉文除之，毁礼伤义，常以叹息。今主上天纵至孝，有曾闵之性，虽夺其服，实行丧礼。丧礼实行，除服何为邪！若因此革汉魏之薄，而兴先王之法，以敦风俗，垂美百代，不亦善乎！”玄曰：“汉文以末世浅薄，不能行国君之丧，故因而除之。除之数百年，一旦复古，难行也。”祜曰：“不能使天下如礼，且使主上遂服，不犹善乎！”玄曰：“主上不除而天下除，此为但有有父子，无复君臣，三纲之道亏矣。”祜乃止。