二十二年，拜吏部尚书。丕扬挺劲不挠，百僚无敢以私干者，独患中贵请谒。乃创为掣签法，大选急选，悉听其人自掣，请寄无所容。一时选人盛称无私，然铨政自是一大变矣。二十三年，大计外吏。九江知府沈铁尝为衡州同知，发巡抚秦耀罪，江西提学佥事马犹龙尝为刑部主事，定御史祝大舟赃贿，遂为庇者所恶。考功郎蒋时馨黜之，丕扬不能察。及时馨为赵文炳所劾，丕扬力与辨雪。谓衅由丁此吕，此吕坐逮。丕扬又力诋沈思孝，于是思孝及员外郎岳元声连章讦丕扬。丕扬请去甚力。其冬，帝以军政故，贬两京言官三十余人。丕扬犹在告，偕九卿力谏，弗纳。已而帝恶大学士陈于陛论救，谪诸言官边方。丕扬等复抗疏谏，帝益怒，尽除其名。
初，帝虽以夙望用丕扬，然不甚委信。有所推举，率用其次。数请起废，辄报罢。丕扬以志不行，已怀去志，及是杜门逾半岁。疏十三上，多不报。至四月，温谕勉留，乃复起视事。主事赵学仕者，大学士志皋族弟也，坐事议调，文选郎唐伯元辄注饶州通判。俄学仕复以前事被讦，给事中刘道亨因劾吏部附势，语侵丕扬。博士周献臣有所陈论，亦颇侵之。丕扬疑道亨受同官周孔教指，献臣又孔教宗人，益疑之，复三疏乞休。最后贻书大学士张位，恳其拟旨允放。位如其言。丕扬闻，则大恚，谓位逐己，上疏诋位及道亨、孔教、献臣、思孝甚力。帝得疏，不直丕扬。位亦疏辩求退，帝复诏慰留，而位同官陈于陛、沈一贯亦为位解。丕扬再被责让，许驰传去。
久之，起南京吏部尚书，辞不就。及吏部尚书李戴免，帝艰其代，以侍郎杨时乔摄之。时乔数请简用尚书。帝终念丕扬廉直，三十六年九月，召起故官。屡辞，不允。明年四月始入都，年七十有八矣。三十八年大计外吏，黜陟咸当。又奏举廉吏布政使汪可受、王佐、张偲等二十馀人，诏不次擢用。
先是，南北言官群击李三才、王元翰，连及里居顾宪成，谓之东林党。而祭酒汤宾尹、谕德顾天飐各收召朋徒，干预时政，谓之宣党、昆党；以宾尹宣城人，天飐昆山人也。御史徐兆魁、乔应甲、刘国缙、郑继芳、刘光复、房壮丽，给事中王绍徽，朱一桂、姚宗文、徐绍吉、周永春辈，则力排东林，与宾尹、天飐声势相倚，大臣多畏避之。至是，继芳巡按浙江，有伪为其书抵绍徽、国缙者，中云“欲去福清，先去富平；欲去富平，先去耀州兄弟”。又言“秦脉斩断，吾辈可以得志”。福清谓叶向高，耀州谓王国、王图，富平即丕扬也。国时巡抚保定，图以吏部侍郎掌翰林院，与丕扬皆秦人，故曰“秦脉”。盖小人设为挑激语，以害继芳辈，而其书乃达之丕扬所。丕扬不为意。会御史金明时居官不职，虑京察见斥，先上疏力攻图，并诋御史史记事、徐缙芳，谓为图心腹。及图、缙芳疏辩，明时再劾之，因及继芳伪书事。国缙疑书出缙芳及李邦华、李炳恭、徐良彦、周起元手，因目为“五鬼”；五人皆选授御史候命未下者也。当是时，诸人日事攻击，议论纷呶，帝一无所问，则益植党求胜，朝端哄然。
及明年三月，大计京官。丕扬与侍郎萧云举、副都御史许弘纲领其事，考功郎中王宗贤、吏科都给事中曹于汴、河南道御史汤光京、协理御史乔允升佐之。故御史康丕扬、徐大化，故给事中钟兆斗、陈治则、宋一韩、姚文蔚，主事郑振先、张嘉言及宾尹、天飐、国缙咸被察，又以年例出绍徽、应甲于外。群情翕服，而诸不得志者深衔之。当计典之初举也，兆京谓明时将出疏要挟，以激丕扬。丕扬果怒，先期止明时过部考察，特疏劾之。旨下议罪，而明时辩疏复犯御讳。帝怒，褫其职。其党大哗。谓明时未尝要挟兆京，只以劾图一疏实之，为图报复。于是刑部主事秦聚奎力攻丕扬，为宾尹、大化、国缙、绍徽、应甲、嘉言辨。时部院察疏犹未下，丕扬奏趣之，因发聚奎前知绩溪、吴江时贪虐状。帝方向丕扬，亦褫聚奎职。由是党人益愤，谓丕扬果以伪书故斥绍徽、国缙，且二人与应甲尝攻三才、元翰，故代为修隙，议论汹汹。弘纲闻而畏之。累请发察疏，亦若以丕扬为过当者。党人藉其言，益思撼丕扬。礼部主事丁元荐甫入朝，虑察疏终寝，抗章责弘纲，因尽发昆、宣党构谋状。于是一桂、继芳、永春、光魁、宗文争击元荐，为明时等讼冤。赖向高调获，至五月察疏乃下。给事中彭惟成、南京给事中高节，御史王万祚、曾成易犹攻讦不已。丕扬以人言纷至，亦屡疏求去，优诏勉留。先是，杨时乔掌察，斥科道钱梦皋等十人，特旨留任。至是丕扬亦奏黜之，群情益快。