子萨廉，光绪五年进士，由翰林官至礼部侍郎。
潘世恩，字芝轩，江苏吴县人。乾隆五十八年一甲一名进士，授修撰。嘉庆二年，大考一等，擢侍读。和珅以其青年上第有才望，欲招致之，世恩谢不与通。以次当迁，和珅抑题本六阅月不上。仁宗亲政，乃擢侍讲学士。一岁三迁至内阁学士，历礼部、兵部、户部、吏部侍郎，督云南、浙江、江西学政。十七年，擢工部尚书，调户部。母忧归，服除，以父老乞养，会其子登乡举，具疏谢，坐未亲诣京，降侍郎。帝鉴其孝思，仍允终养，居家十载。
道光七年，父丧服阕，补吏部侍郎，迁左都御史。再授工部尚书，调吏部。十三年，超拜体仁阁大学士，管理户部。寻命为军机大臣，兼翰林院掌院学士。晋东阁大学士，调管工部。充上书房总师傅，加太子太保。十八年，晋武英殿大学士。二十八年，以八十寿晋太傅，赐紫缰。其明年，引疾，迭疏乞休，温诏慰留，仅解机务。三十年，文宗即位，复三疏，始得予告，食全俸，留其子京邸。咸丰二年，乡举重逢，诏就近与顺天鹿鸣宴。次年，复与恩荣宴。四年，卒，遣亲王奠醊，入祀贤良祠，谥文恭。
世恩历事四朝，迭掌文衡，备叨恩遇。筦部务，安静持大体。黑龙江将军请增都尔特六屯，议地当游牧，开垦非计，不可许。言官奏山东盐课请归地丁，议山东场灶半毗连淮境，一归地丁，听民自运自销，必为两淮引课之累，不可行。
在枢廷凡十七年，益慎密，有所论列，终不告人。海疆事起，林则徐所论奏，廷议多赞之；及穆彰阿主抚，世恩心以为非，不能显与立异。迨咸丰初诏举人才，世恩已在告，疏言林则徐历任封疆，有体有用，请徵召来京备用，并荐前任台湾道姚莹，文宗韪之，於罪穆彰阿时犹举其言。次子曾莹，道光二十一年进士，由编修官至吏部侍郎。孙祖荫，自有传。
论曰：守成之世，治尚综覈，而振敝举衰，非拘守绳墨者所克任也。况运会平陂相乘，非常之变，往往当承平既久，萌蘖蠢兆於其间，驭之无术，措置张皇，而庸佞之辈，转以弥缝迎合售其欺，其召乱可幸免哉？宣宗初政，一倚曹振镛，兢兢文法；及穆彰阿柄用，和战游移，遂成外患。一代安危，斯其关键已。英和才不竟用，王鼎忠贞致身，文孚、潘世恩皆恪恭保位者耳。