神宗即位，徙知庐州。熙宁三年，至京师。王安石素与之善，方行新法，谓之曰："举朝纷纷，俟尹来久矣，将以待制、谏院处君。"尧俞曰："新法世以为不便，诚如是，当极论之。平生未尝好欺，敢以为告。"安石愠之，但授直昭文馆、权盐铁副仗，俄出为河北转运使，改知江宁府。陛辞，言："仁庙一室，与艺祖、太宗并为百代不迁之主。"
徙许州、河阳、徐州，再岁六移官，困于道路，知不为时所容，请提举崇福宫。先是，徐人告有谈天文休咎者，尧俞以事未白，不受辞。谈者后伏诛，尧俞坐不即捕，削官职。稍起，监黎阳县仓草场，郡掾行县，尧俞从众出迎尽礼。守为遣他吏代主出纳，尧俞不可，曰："居其官安得旷其职。"虽寒暑，必日至庾中治事，凡十年。
哲宗立，自知明州召为秘书少监兼侍讲，擢给事中、吏部侍郎、御史中丞。奏言："人才有能有不能，如使臣补阙拾遗以辅盛德，明善正失以平庶政，举直措枉以正大臣，臣虽不才，敢不尽力。若使窥人阴私，抉人细故，则非臣所能，亦非臣之志也。"御史张舜民以言事罢，诏尧俞更举御史，尧俞封还诏书，请留舜民。不听，即以尧俞为吏部侍郎，尧俞不可，遂以龙图阁待制知陈州。未几，复为吏部侍郎、御史中丞。
前宰相蔡确坐诗诽谤，贬新州，宰执、侍从以下，罢者七八人，御史府为之一空。尧俞曰："确之党，其尤者固宜逐，其余可以一切置之。"且言："以陛下盛德，而乃于此不能平？愿听之如蚊虻之过耳，无使有纤微之忤，以奸太和之气。事至，以无心应之，圣人所以养至诚而御遐福也。"
水官李伟议大河可从孙村导之还故道。尧俞言："河事虽不可隃度，然比遣使按之，皆言非便。而伟又缪悠不肯任责，岂可以遽兴大役。"朝廷遂置伟议。进吏部尚书兼侍读。元祐四年，拜中书侍郎。六年，卒，年六十八。哲宗与太皇太后哭临之，太皇太后语辅臣曰："傅侍郎清直一节，终始不变，金玉君子也。方倚以相，遽至是乎！"赠银青光禄大夫，谥曰献简。绍圣中，以元祐党人，夺赠谥，著名党籍。后党锢解，下诏褒赠，录其子。
尧俞厚重言寡，遇人不设城府，人自不忍欺。论事君前，略无回隐，退与人言，不复有矜异色。初，自谏官补郡，众疑法令有未安者，必有所不从，尧俞一切遵之，曰："君子素其位而行，谏官有言责也，为郡知守法而已。"徐前守侵用公钱，尧俞至，为偿之，未足而去。后守移文尧俞使偿入之，考实非尧俞所用，卒不辩。司马光尝谓河南邵雍曰："清、直、勇之德，人所难兼，吾于钦之见焉。"雍曰："钦之清而不耀，直而不激，勇而能温，是为难尔。"从孙察，见《忠义传》。
论曰：存、固、瞻、尧俞，初皆善王安石；及其秉政，未尝受所诱饵，与论新法，终不诡随。及元祐区别正邪，其论蔡确诗谤之罪恐为已甚，将启朋党之祸，岂非先知之明乎？他有更张，随事谏止，不少循默。然无矫枉过中之失，故能不亟不徐，进退有道，在元祐诸臣中，身名俱全，亦难矣哉。