十年，玉麟移营与合屯。贼复上犯彭泽、湖口，分兵赴援，克都昌。十一年，授广东按察使。贼犯蕲、黄、德安，玉麟会陆军克孝感、天门、应城、黄州、德安，擢安徽巡抚。命帮办袁甲三军务，颍、寿各军悉归调遣，累疏固辞，谓：“久居战舰，草衣短笠，日与水勇、舵工驰逐於巨风恶浪之中。一旦身膺疆寄，进退百僚，问钱穀不知，问刑名不知，勉强负荷，贻误国家。”又谓：“从军八年，专带水师，弃舟而陆，无一旅一将供其指挥，仓猝召募，必致偾事。”诏嘉其不欺，以李续宜代之，改职水师提督。
同治元年，授兵部右侍郎，节制镇将。军中重文轻武，玉麟与杨岳斌威望久埒，一旦名位超越，而相处终始无间，论者谓其苦心协和不可及。别立太湖水师十营，并归统辖。曾国荃由安庆进规江宁，水师助之。克铜城闸，复巢县、含山、和州，袭破雍家镇、裕溪口，夺东西梁山，进攻采石，又克金柱关。诸将冲锋，玉麟每乘小船督战，以红旗为识，或前或后，将士皆惴惴尽力。间入陆军察战状，往来飘忽无定踪，所经行军民莫敢为奸宄。
二年，与杨岳斌合兵攻九洑洲。贼於洲筑垒数十，外作大城，众舟环之，与江宁相犄角；而拦江矶、草鞋峡、七里洲、燕子矶、中关、下关皆贼屯。玉麟列舟上流，南队向下关，北队向草鞋峡，岳斌攻燕子矶，破之。陆军亦分三队，掘洲埂攻中关，舢板环洲而阵。贼以枪炮相持，不能进。玉麟督诸军更番夜攻，下令曰：“洲不破，不收队。”选死士从火丛登岸，噪曰：“洲破矣！”诸军欢呼，腾踔而上，立破洲边屯舟，贼争溃走。自田家镇以来，是战为最烈。於是贼党由江西犯池州，谋挠官军。玉麟还救青阳，解其围，复高淳，克东坝，并论九洑洲功，赐黄马褂。会杨岳斌赴江西督师，自是玉麟专统水师。三年，江宁复，论功，以创立水师为首，加太子少保，予一等轻车都尉世职。四年，命署漕运总督，再疏辞，允之，命筹商水师善后事宜。
七年，会同曾国藩奏定长江水师营制，自荆州至崇明五千馀里，设提督一员、总兵五员，以六标分汛；营、哨官七百九十八员，兵丁一万二千人，岁饷六十馀万两，以长江釐税供支，不烦户部。初，军事未定，军饷奇绌，而淮盐积滞。玉麟议定捆盐自卖，供水师月饷。及江路大通，曾国藩设三省督销局，招商领票，水师盐票大小数百，至是军饷有额支的款。馀银及票本巨万，玉麟一不私取，以五之一取息，助水师公费，且备外患仓猝之需。馀分解云、贵助饷二十万，甘肃助饷二十万，以十万广本县学额，而以盐票犒诸将有大功者。
事既竣，疏请回籍补行终制，略曰：“臣墨绖从戎，创立水师，治军十馀年，未尝营一瓦之覆，一亩之殖；受伤积劳，未尝请一日之假；终年风涛矢石之中，未尝移居岸上求一日之安。诚以亲服未终，而出从戎旅，既难免不孝之罪，岂敢复为身家之图乎？臣尝闻士大夫出处进退，关系风俗之盛衰。臣之从戎，志在灭贼，贼己灭而不归，近於贪位；长江既设提镇，臣犹在军，近於恋权；改易初心，贪恋权位，则前此辞官，疑是作伪；三年之制，贤愚所同，军事已终，仍不补行终制，久留於外，涉於忘亲。四者有一，皆足以伤风败俗。夫天下之乱，不徒在盗贼之未平，而在士大夫之进无礼，退无义。伏惟皇上中兴大业，正宜扶树名教，整肃纪纲，以振起人心。况人之才力聪明，用久则竭，若不善藏其短，必致转失所长。古来臣子，往往初年颇有建树，而晚节末路陨越错谬，固由才庸，亦其精气竭也。臣每读史至此，窃叹其人不能善藏其短，又惜当日朝廷不知善全其长。知进而不知退，圣人於易深戒之，固有由矣。臣本无经济之学，而性情褊躁，思虑忧伤。月积年累，怔忡眴晕，精力日衰，心气日耗。若再不调理，必致贻误国事。恳请天恩开臣兵部侍郎本缺，回籍补行终制。报国之日正长，断不敢永图安逸也。”优诏从之。
八年春，还衡阳，作草楼三重，布衣青鞋，时往母墓，庐居三年不出。自设长江水师，东南无事，将士渐耽安逸，事多废弛。十一年，诏起玉麟简阅，疏陈整顿事宜，讽提督黄翼升自退，荐李成谋、彭楚汉二人，即以成谋代之，劾罢营哨官百数十人。入觐，命署兵部侍郎，复陈请开缺，仍命巡阅长江，专摺奏事。别饬两江、湖广为筹经费，玉效力辞不受。自筑别业於杭州西湖，曰退省庵。每巡阅下游，事毕，居之。自是水师皆整肃，沿江盗踪敛戢，安堵者数十年。朝廷有大政，及疆吏重案，辄谘询，命按治。