又曰："今之能言之士，其所难非在于得罪君父，而在忤意权势。姑以臣所知者言之，难莫难于论灾异，然言之而不讳者，以其事不关于权势也。若乃御笔之降，庙堂不敢重违，台谏不敢深论，给、舍不敢固执，盖以其事关贵幸，深虑乘间激发而重得罪也。故凡劝导人主事从中出者，盖欲假人主之声势，以渐窃威权耳。比者闻之道路，左右{埶日}御，于黜陟废置之际，间得闻者，车马辐凑，其门如市，恃权怙宠，摇撼外庭。臣恐事势浸淫，政归幸门，不在公室。凡所荐进皆其所私，凡所倾陷皆其所恶，岂但侧目惮畏，莫敢指言，而阿比顺从，内外表里之患，必将形见。臣因李祥获罪而深及此者，是岂矫激自取罪戾哉？实以士气颓靡之中，稍忤权臣，则去不旋踵。私忧过计，深虑陛下之势孤，而相与维持宗社者浸寡也。"
疏既上，束檐待罪。有旨：吕祖俭朋比罔上，安置韶州。中书舍人邓驲缴奏，祖俭罪不至贬。御笔："祖俭意在无君，罪当诛。窜逐已为宽恩。"会楼钥进读吕公著元祐初所上十事，因进曰："如公著社稷臣，犹将十世宥之，前日太府寺丞吕祖俭以言事得罪者，其孙也。今投之岭外，万一即死，圣朝有杀言者之名，臣窃为陛下惜之。"上问："祖俭所言何事？"然后知前日之行不出上意。侂胄谓人曰："复有救祖俭者，当处以新州矣。"众莫敢出口。有谓侂胄曰："自赵丞相去，天下已切齿，今又投祖俭瘴乡，不幸或死，则怨益重，曷若少徙内地。"侂胄亦悟。祖俭至庐陵，将趋岭，得旨改送吉州。遇赦，量移高安。二年卒，诏令归葬。
祖俭之谪也，朱熹与书曰："熹以官则高于子约，以上之顾遇恩礼则深于子约，然坐视群小之为，不能一言以报效，乃令子约独舒愤懑，触群小而蹈祸机，其愧叹深矣。"祖俭报书曰："在朝行闻时事，如在水火中，不可一朝居。使处乡闾，理乱不知，又何以多言为哉？"在谪所，读书穷理，卖药以自给。每出，必草履徒步，为逾岭之备。尝言："因世变有所摧折，失其素履者，固不足言矣；因世变而意气有所加者，亦私心也。"所为文有《大愚集》。祖俭从弟祖泰。
祖泰。字泰然，夷简六世孙，寓常之宜兴。性疏达，尚气谊，学问该洽。遍游江、淮，交当世知名士，得钱或分挈以去，无吝色。饮酒至数斗不醉，论世事无所忌讳，闻者或掩耳而走。
庆元初，祖俭以言事安置韶州。既移瑞州，祖泰徒步往省之，留月余，语其友王深厚曰："自吾兄之贬，诸人箝口。我虽无位，义必以言报国，当少须之，今未敢以累吾兄也。"及祖俭没贬所，嘉泰元年，周必大降少保致仕，祖泰愤之，乃诣登闻鼓院上书，论侂胄有无君之心，请诛之以防祸乱。其略曰："道学，自古所恃以为国也。丞相汝愚，今之有大勋劳者也。立伪学之禁，逐汝愚之党，是将空陛下之国，而陛下不知悟邪？陈自强，侂胄童孺之师，躐致宰辅。陛下旧学之臣，若彭龟年等，今安在邪？苏师旦，平江之史胥，以潜邸而得节钺；周筠，韩氏之厮役，以皇后亲属得大官。不识陛下在潜邸时果识师旦乎？椒房之亲果有筠乎？凡侂胄之徒，自尊大而卑朝廷，一至于此也！愿亟诛侂胄及师旦、周筠，而罢逐自强之徒。独周必大可用，宜以代之，不然，事将不测。"书出，中外大骇。
有旨："吕祖泰挟私上书，语言狂妄，拘管连州。"右谏议大夫程松与祖泰狎友，惧曰："人知我素与游，其谓预闻乎？"乃独奏言："祖泰有当诛之罪，且其上书必有教之者，今纵不杀，犹当杖黥窜远方。"殿中侍御史陈谠亦以为言。乃杖之百，配钦州牢城收管。
初，监察御史林采言伪习之成，造端自必大，故有少保之命。祖泰知必死，冀以身悟朝廷，无惧色。既至府廷，尹为好语诱之曰："谁教汝共为章？汝试言之，吾且宽汝。"祖泰笑曰："公何问之愚也。吾固知必死，而可受教于人，且与人议之乎？"尹曰："汝病风丧心邪？"祖泰曰："以吾观之，若今之附韩氏得美官者，乃病风丧心耳。"
祖泰既贬，道出潭州，钱文子为醴陵令，私赆其行。侂胄使人迹其所在，祖泰乃匿襄、郢间。侂胄诛，朝廷访得祖泰所在，诏雪其冤，特补上州文学，改授迪功郎、监南岳庙。丧母无以葬，至都谋于诸公，得寒疾，索纸书曰："吾与吾兄共攻权臣，今权臣诛，吾死不憾。独吾生还无以报国，且未能葬吾母，为可憾耳。"乃卒。尹王柟为具棺敛归葬焉。