至正改元，擢太常博士。明年，转中书检校，寻拜监察御史。扈从至上京，上封事，言天子宜慎起居，节嗜欲，以保养圣躬，圣躬安则宗社安矣。言甚迫切，帝改容称善。又言台察四事：一曰差遣台臣，越职问事；二曰左迁御史，杜塞言路；三曰御史不思尽言，循叙求进；四曰体覆廉访声迹不实，贤否混淆。帝皆喜纳之，谕台臣曰：“遵所言甚善，皆世祖风纪旧规也。”特赐上尊旌其忠。遵又言江浙火灾当赈恤，及劾火鲁忽赤不法十事，皆从之。复上封事，言时务四事：一曰法祖宗，二曰节财用，三曰抑奔竞，四曰明激劝。奏入，帝称善久之，命中书速议以行。是岁，言事并举劾凡七十余事，皆指讦时弊，执政者恶之。三年，自刑部员外郎出为陕西行省员外郎，以母病辞归。五年，丁母忧。八年，擢佥淮东肃政廉访司事，改礼部郎中，奉使山东、淮北察守令贤否，得循良者九人，贪懦者二十一人，奏之。九人者，赐上尊币帛，仍加显擢；其二十一人悉黜之。九年，改刑部郎中，寻迁御史台都事。时台臣有嫉赃吏多以父母之忧免者，建论今后官吏，凡被案劾赃私，虽父母死，不许归葬，须竟其狱，庶恶人不获幸免。遵曰：“恶人固可怒，然与人伦孰重？且国家以孝治天下，宁失罪人千百，不可使天下有无亲之吏。”御史大夫是其言。升户部侍郎。
十年，迁中书右司郎中。时刑部狱按久而不决者积数百，遵与其僚分阅之，共议其轻重，各当其罪，未几，无遗事。时有令输粟补官，有匿其奸罪而入粟得七品杂流者，为怨家所告，有司议输粟例，无有过不与之文，遵曰：“卖官鬻爵，已非盛典，况又卖官与奸淫之人，其将何以为治。必夺其敕，还其粟，著为令，乃可。”省臣从之。除工部尚书。先是，河决白茅，郓城、济宁皆为巨浸。或言当筑堤以遏水势，或言必疏南河故道以杀水势，而漕运使贾鲁言：“必疏南河，塞北河，使复故道。役不大兴，害不能已。”廷议莫能决。乃命遵偕大司农秃鲁行视河，议其疏塞之方以闻。十一年春，自济宁、曹、濮、汴梁、大名，行数千里，掘井以量地形之高下，测岸以究水势之浅深，遍阅史籍，博采舆论，以谓河之故道，不可得复，其议有八。而丞相脱脱已先入贾鲁之言，及遵与秃鲁至，力陈不可，且曰：“济宁、曹、郓，连岁饥馑，民不聊生，若聚二十万人于此地，恐后日之忧又有重于河患者。”脱脱怒曰：“汝谓民将反耶！”自辰至酉，辨论终不能入。明日，执政者谓遵曰：“修河之役，丞相意已定，且有人任其责矣，公其毋多言，幸为两可之议。”遵曰：“腕可断，议不可易也。”由是遂出为大都河间等处都转运盐使。初，汝、汴二郡多富商，运司赖之，是时，汝宁盗起，侵汴境，朝廷调兵往讨，括船运粮，以故舟楫不通，商贩遂绝。遵随事处宜，国课皆集。
十四年，调武昌路总管。武昌自十二年为沔寇所残毁，民死于兵疫者十六七，而大江上下，皆剧盗阻绝，米直翔踊，民心遑遑。遵言于省臣，假军储钞万锭，募勇敢之士，具戈船，截兵境，且战且行，籴粟于太平、中兴，民赖以全活者众。会省臣出师，遵摄省事，于是省中府中，惟遵一人。乃远斥候，塞城门，籍民为兵，得五千余人，设万夫长四，配守四门，所以为防御之备甚至，号令严肃，赏罚明当。贼船往来江中，终不敢近岸，城赖以安。十五年，擢江南行台治书侍御史，召拜参议中书省事。时河南之贼，数渡河而北，焚掠郡县，上下视若常事。遵率左右司僚佐，持其牍诣丞相言曰：“今天下州县，丧乱过半，河北之民稍安者，以天堑黄河为之障，贼兵虽至，不能飞渡，所以剥肤椎髓以供军储而无深怨者，视河南之民，犹得保其室家故也。今贼北渡河而官军不御，是大河之险已不能守，河北之民复何所恃乎？河北民心一摇，国势将如之何！”语未毕，哽咽不能言，宰相已下皆为之挥涕，乃以入奏。帝诏即遣使罪守河将帅，而守御自是亦颇严。
先是，湖广倪贼，质威顺王之子，而遣人请降，求为湖广行省平章，朝臣欲许者半，遵曰：“平章之职，亚宰相也。承平之时，虽德望汉人，抑而不与，今叛逆之贼，挟势要求，轻以与之，如纲纪何！”或曰：“王子，世皇嫡孙也，不许，是弃之与贼，非亲亲之道也。”遵曰：“项羽执太公，欲烹之以挟高祖，高祖乃以分羹答之，奈何今以王子之故，废天下大计乎！”众皆韪其论。除治书侍御史，俄复入中书为参知政事。离省仅六日，丞相每决大议，则曰“姑少缓之”，众莫晓其意，及遵拜执政，喜曰：“大政事今可决矣。”