三才既家居，忌者虑其复用。四十二年，御史刘光复劾其盗皇木营建私第至二十二万有奇。且言三才与于玉立遥执相权，意所欲用，铨部辄为推举。三才疏辨，请遣中官按问。给事中刘文炳、御史李徵仪、工部郎中聂心汤、大理丞王士昌，助光复力攻三才。徵仪、心汤，三才尝举吏也。三才愤甚，自请籍其家。工部侍郎林如楚言宜遣使覆勘。光复再疏，并言其侵夺官厂为园囿。御史刘廷元遂率同列继之，而潘汝祯又特疏论劾。既而巡按御史颜思忠亦上疏如光复指。三才益愤，请诸臣会勘，又请帝亲鞫。乃诏徵仪偕给事中吴亮嗣往。
其明年，光复坐事下狱。三才阳请释之，而复力为东林辨白，曰：“自沈一贯假撰妖书，擅僇楚宗，举朝正人攻之以去。继汤宾尹、韩敬科场作奸，孽由自取，于人何尤。而今之党人动与正人为仇，士昌、光复尤为戎首。挺身主盟，力为一贯、敬报怨。腾说百端，攻击千状。以大臣之贤者言之，则叶向高去矣，王象乾、孙玮、王图、许弘纲去矣，曹于汴、胡忻、朱吾弼、叶茂才、南企仲、朱国祯等去矣，近又攻陈荐、汪应蛟去矣。以小臣之贤者言之，梅之焕、孙振基、段然、吴亮、马孟祯、汤兆京、周起元、史学迁、钱春等去矣，李朴、鲍应鳌、丁元荐、庞时雍、吴正志、刘宗周等去矣。合于己则留，不合则逐。陛下第知诸臣之去，岂知诸党人驱之乎？今奸党仇正之言，一曰东林，一曰淮抚。所谓东林者，顾宪成读书讲学之所也。从之游者如高攀龙、姜士昌、钱一本、刘元珍、安希范、岳元声、薛敷教，并束身厉名行，何负国家哉？偶曰东林，便成陷井。如邹元标、赵南星等被以此名，即力阻其进。所朝上而夕下者，惟史继偕诸人耳。人才邪正，实国祚攸关，惟陛下察焉。”疏入，众益恨之。亮嗣等既往勘，久之无所得。第如光复言还报，遂落职为民。
天启元年，辽阳失。御史房可壮连疏请用三才。有诏廷臣集议。通政参议吴殿邦力言不可用，至目之为盗臣。御史刘廷宣复荐三才，言：“国家既惜其才，则用之耳，又何议，然广宁已有王化贞，不若用之山海。”帝是其言，即欲用三才，而廷议相持未决。詹事公鼐力言宜用，刑部侍郎邹元标、佥都御史王德完并主之。已，德完迫众议，忽变前说。及署议，元标亦不敢主。议竟不决，事遂寝。三年，起南京户部尚书，未上卒。后魏忠贤乱政，其党御史石三畏追劾之。诏削籍，夺封诰。崇祯初复官。
三才才大而好用机权，善笼络朝士。抚淮十三年，结交遍天下。性不能持廉，以故为众所毁。其后击三才者，若邵辅忠、徐兆魁辈，咸以附魏忠贤名丽逆案。而推毂三才，若顾宪成、邹元标、赵南星、刘宗周，皆表表为时名臣。故世以三才为贤。
赞曰：朋党之成也，始于矜名，而成于恶异。名盛则附之者众。附者众，则不必皆贤而胥引之，乐其与己同也。名高则毁之者亦众。毁者不必不贤而怒而斥之，恶其与己异也。同异之见岐于中，而附者毁者争胜而不已，则党日众，而为祸炽矣。魏允贞、王国、余懋衡皆以卓荦闳伟之概，为众望所归。李三才英遇豪俊，倾动士大夫，皆负重名。当世党论之盛，数人者实为之魁，则好同恶异之心胜也。《易》曰：“涣其群，元吉。”知此者，其惟圣人乎！