初，肃宗之在灵武也，常忧诸将李郭等，皆已为三公宰相，崇重既极，虑收复后无以复为赏也。泌对曰：“前代爵以报功，官以任能。自尧舜以至三代，皆所不易。今收复后，若赏以茅土，不过二三百户一小州，岂难制乎？”肃宗曰：“甚善。”因曰：“若臣之所愿，则特与他人异。”肃宗曰：“何也？”泌曰：“臣绝粒无家，禄位与茅土，皆非所欲。为陛下帷幄运筹，收京师后，但枕天子膝睡一觉，使有司奏客星犯 帝座，一动天文足矣。”肃宗大笑。
及南幸扶风，每顿，必令泌领元帅兵先发清行宫，收管钥，奏报，然后肃宗至。至保定郡，泌稍懈，先于本院寐。肃宗来入院，不令人惊之，登床，捧泌首置于膝。良久方觉。上曰：“天子膝已枕矣，克复之期，当在何时？可促偿之。”泌遽起谢恩。肃宗持之不许。因对曰：“是行也，以臣观之，假九庙之灵，乘一人之威，当如郡名，必保定矣。”
既达扶风，旬日而西域河陇之师皆会，江淮庸调亦相继而至，肃宗大悦。又肃宗尝夜坐，召颖王等三弟，同于地炉罽毯上食，以泌多绝粒，肃宗每自为烧二梨以赐泌，时颖王持恩固求，肃宗不与，曰：“汝饱食肉，先生绝粒，何乃争此耶！”颖王曰：“臣等试大家心，何乃偏耶！不然，三弟共乞一颗。”肃宗亦不许，别命他果以赐之。王等又曰：“臣等以大家自烧故乞，他果何用？”因曰：“先生恩渥如此，臣等请联句，以为他年故事。”
颖王曰：“先生年几许，颜色似童儿。”
其次信王曰：“夜抱九仙骨，朝披一品衣。”
其次益王曰：“不食千钟粟，唯餐两颗梨。”
既而三王请成之。肃宗因曰：“天生此间气，助我化无为。”
泌起谢。肃宗又不许曰：汝之居山也，栖遁幽林，不交人事；居内也，密谋匡救，动合玄机，社稷之镇也。泌恩渥隆异，故元载、辅国之辈，嫉之若仇。
代宗即位，累有颁钖，中使旁午于道，别号天柱峰中岳先生，赐朝天玉简。已而征入翰林。元载奏以朝散大夫检校秘书少监，为江西观察判官。载伏诛，追复京师，又为常衮所嫉，除楚州刺史。未行，改丰、朗二州团练使，兼御史中丞，又改授杭州，所至称理。兴元初，征赴行在，迁左散骑常侍，寻除陕府长史，充（“充”原作“先”，据唐书一三○泌传改。）陕虢防御使。陈许戍卒三千，自京西逃归，至陕州界，泌潜师险隘，尽破之。又开三门陆运一十八里，漕米无砥柱之患，大济京师。二年六月。就拜中书侍郎平章事，加崇文馆大学士，修国史，封邺侯。
时顺宗在春宫，妃萧氏母郜国公主，交通于外，上疑其有他志，连坐贬黜者数人，皇储危惧，泌周旋陈奏，德宗意乃解，颇有谠正之风。
五年春，德宗以二月一日为中和节，泌奏今有司上农书，献穜稑之种，王公戚里上春服，士庶乃各相问讯，泌又作中和酒，祭勾芒神，以祈年谷，至今行之。泌旷达敏辨，好大言。自出入中禁，累为权臣所挤，恒由智免，终以言论纵横，上悟圣主，以跻相位。
是岁三月薨，赠太子太傅。
是月中使林远，于蓝关逆旅遇泌，单骑常服，言暂往衡山，话四朝之重遇，惨然久之而别。远到长安，方闻其薨。德宗闻之，尤加怆异。曰：“先生自言，当匡佐四圣而复脱屣也，斯言验矣。”
泌自丁家艰，无复名宦之冀，服气修道，周游名山，诣南岳张先生受录。德宗追谥张为玄和先生。又与明瓒禅师游，著《明心论》。明瓒释徒谓之懒残，泌尝读书衡岳寺，异其所为，曰：“非凡人也，听其中宵梵唱，响彻山林。”
泌颇知音，能辩休戚，谓懒残经音，先凄怆而后喜悦，必谪坠之人，时至将去矣。”候中夜，潜往谒之。懒残命坐，拨火出芋以馅之。谓泌曰：“慎勿多言，领取十年宰相。”泌拜而退。
天宝八载，在表兄郑叔则家，已绝粒多岁，身轻，能自屏风上，引指使气，吹烛可灭。每导引，骨节皆珊然有声，时人谓之锁子骨。在郑家时，忽两日冥然，不知人事。既寤，见身自顶踊出三二寸，傍有灵仙，挥手动目，如相勉助者，如自足及顶。乃念言大事未毕，复有庭闱之恋，愿终家事。于是在傍者皆见一人，仪状甚巨，衣冠如帝王者，前有妇人，礼服而跪。如帝王者责曰：“情之未得，因欲令来，使劳灵仙之重。”跪者对曰：“不然，且教伊近天子。”于是遂寤。
后二岁，为玄宗所召。后常有隐者八人，容服甚异，来过郑家，数自言仙法严备，事无不至。临去叹曰：“俗缘竟未尽，可惜心与骨耳。”泌求随去。曰：“不可！姑与他为却宰相耳。”出门不复见。因作八公诗叙之。复有隐者，携一男六七岁来过，云：“有故，须南行，旬月当还。缘此男有痢疾，既同是道者，愿且寄之。”又留一函曰：“若疾不起，望以此瘗之。”既许，乃问男曰：“不骄留此得乎？”曰：“可。”遂去。泌求药疗之，终不愈。八九日而殂，即以函盛，瘗庭中蔷薇架下。累月，其人竟不回，试发函视之。有一黑石，天然中方，上有字如锥画云：“神真炼形年未足，化为我子功相续。丞相瘗之刻玄玉，仙路何长死何促。”