左宗棠疏荐应祺守绝一尘，才堪肆应，请以道府简补。十年，授甘州知府。陕西自军兴，兵差旁午，设里局董之，凡四十一厅州县大困。上命巡抚边宝泉赴陕查办，疏留应祺理其事。应祺量道路冲僻定收支之数，分别兵流，扫浮汰冗，岁省数十万两。是年冬，抵甘州任，赈饥劝学，设织纺局、孤嫠所，革徵草之弊，复七斤一束旧章。十一年，迁兰州道。濒行，士民攀辕留行，多泣下者。旋署按察使。严抢嫠为婚之禁，擒督署差弁及乡人杨营弁置之法。手订清理庶狱章程，以诏群吏，视其功过而黜陟之。
十五年，调新疆喀什噶尔道，改镇迪道，兼按察使衔。十七年，署新疆布政使；十九年，实授。新疆兵燹后，民物凋弊，地多荒弃。伊犁故腴壤，回屯旧八千户，四不存一。应祺建议伊犁将军给新裁锡伯、索伦兵牛粮，使之屯种；给新裁察哈尔、厄鲁特兵羊马，使牧放；并招致关内灾民，按丁授地，实行寓兵於农之法。罗布淖尔者，旧史所称星宿海也，汉为且末、尉犁、婼羌诸国地，东西广千六百馀里，南北袤千里或数百里，自阳关道梗，其地遂成瓯脱。应祺建议巡抚筑蒲昌城，设英格可力善后局、卡克里克屯防局，招徕汉回客缠，通道置驿，建堡濬渠，教以耕织。又请改防军为标营，定额徵粮石每年折色之法，画一钱法。
俄领事原议驻吐鲁番，后求移驻省垣，将军、巡抚难之。应祺谓：“此不必争。我所应争者，洋商税则须与华商一律，同时议定。新省毗连英、俄，陆路进口地不一，北道伊犁，南道喀什，应设关，各以本道为监督；塔城、乌什、叶尔羌应设分卡，归各道兼辖。”均如议行。南路初设领署，应祺贻书伊塔、喀什两道曰：“交邻之道，莫先於自治。我之用人行政，使彼族闻而敬服，则遇事不至以非礼相要，此为折冲御侮第一要义。饮食往还，平时贵以情谊相联。至华洋诉讼，必先得华民是非曲直实情而后与之争，庶可关其口而夺之气。一词稍伪，彼将执以相例，而全案皆虚矣。情以籥之，理以盾之，又其次也。”新疆向受协饷，每苦款绌，应祺开源节流，数年库储逾百万。
二十一年，河、湟回煽乱，蔓延甘、凉诸郡，其别股万馀谋西窜。上命应祺署新疆巡抚，应祺檄提督牛允诚防安西、玉门诸处，拒寇境外。回酋刘四伏果窜玉门之昌马，遇允诚军，战数不利，尽弃辎重，逾雪山西逸。应祺遣参将李金良要之红柳峡，生擒刘四伏，降其众八千，安置於罗布淖尔，设军镇抚。同时库车回谋起事，宁远回亦以争新教相仇杀，汹汹思变。应祺皆先期扑灭，故四伏无内应，卒就歼。上嘉其功，实授巡抚。
应祺以新疆僻处国西北隅，密迩强俄，士卒众而器械窳，生齿繁而司牧少，不足以固吾圉，乃购快枪万枝於德国，而设机器厂制造子弹，奏设左右翼马队为游击师。又开办于阗、塔城金矿，垦荒田，开渠井，广兴实业，凡有利於民生者，皆次第举。自是地利尽辟，兵备有资，较初建行省时迥异矣。
拳匪乱起，俄兵自萨马进逼边卡，应祺会总督魏光焘、伊犁将军长庚仿东南各省，与各领事结互相保护之约，俄兵乃退。议成，应祺应诏陈言，略谓：“古今中外治法务在求实。旧章非无可守，守之不以实，成法亦具文；新法非不可行，行之不以实，良法亦虚饰。心之实不实，宜於行事之实不实验之。”逾年，诏设武备学堂，编立常备、续备、巡警各军。应祺主操练用新法，器械用新式；人惟求旧，必朴实勤奋久於战阵者，方可入选。上疏极论之，并谓：“中国习洋操三十年，一败於日本，再败於联军，为务虚名而贻实祸之证。”所言皆切中时弊。
而尤龂龂於界约，不少迁就。帕米尔高原，国境也，有高宗御制平寇碑，立於苏满。英、俄交觑其地，而俄人先窃据之。应祺官布政使时，商之巡抚，以理退俄兵，遣军戍焉。俄人悔失计，日聒於总署，要我撤兵。应祺持不可，谓：“我自守门户，其理直。我退则英必至，英来则俄又必争，是息事而益多事也。”后竟如应祺言。坎人求租种莎车属喇斯库穆荒地，应祺谓：“坎本我属，宜示怀柔。其在玉河卡伦外者，可允其租垦，纳赋比於华人；其在玉河东北属边内者，宜卻之，防后患。”总署与英使议界约，以坎部让与印度，而塔墩巴什帕米尔及喇斯库穆全境皆让与中国。应祺抗言：“喇本我地，不得谓之让。”而俄人转谓中国以喇地让与英人，利益宜均，以兵威相胁。应祺饬属严备边，而以议租原委及议约界限详谕之，俄人始无辞。