愔字遵彦，小名秦王。儿童时，口若不能言；而风度深敏，出入门闾，未尝戏弄。六岁学史书，十一受《诗》、《易》，好《左氏春秋》。幼丧母，曾诣舅源子恭。子恭与之饮，问读何书。曰："诵《诗》"。子恭曰："诵至《渭阳》未邪？"愔便号泣感噎。子恭亦对之歔欷，遂为之罢酒。子恭后谓津曰："常谓秦王不甚察慧，从今已后，更欲刮目视之。"
愔一门四世同居，家甚隆盛，昆季就学者三十余人。学庭前有柰树，实落地，群儿咸争之。愔颓然独坐。其季父暐适入学馆，见之，大用嗟异。顾谓宾客曰："此儿恬裕，有我家风。"宅内有茂竹，遂为愔于林边别葺一室，命独处其中，常铜盘具盛馔以饭之。因以督厉诸子曰："汝辈但如遵彦谨慎，自得竹林别室、铜盘重肉之食。"愔从父兄黄门侍郎昱特相器重，曾谓人曰："此儿驹齿未落，已是我家龙文；更十岁后，当求之千里外。"昱尝与十余人赋诗，愔一览便诵，无所遗失。及长，能清言，美音制，风神俊悟，容止可观，人士见之，莫不敬异；有识者多以远大许之。
正光中，随父之并州。性既恬默，又好山水，遂入晋阳西县瓮山读书。孝昌初，津为定州刺史，愔亦随父之职。以军功除羽林监，赐爵魏昌男，不拜。及中山为杜洛周陷，全家被囚絷。未几，洛周灭，又没葛荣。荣欲以女妻之，又逼以伪职。愔乃托疾，密含牛血数合，于众中吐之，仍阳喑不语。荣以为信然，乃止。永安初，还洛，拜通直散骑侍郎，年十八。
元颢入洛时，愔从父兄侃为北中郎将，镇河梁。愔适至侃处，便属乘舆失守，夜至河。侃虽奉迎车驾北度，而潜南奔。愔固谏止之，遂相与扈从达建州。除通直散骑常侍。愔以世故未夷，志在潜退，乃谢病。与友人中直侍郎河间邢邵隐于嵩山。
及庄帝诛尔朱荣，其从兄侃参赞帷幄。朝廷以其父津为并州刺史、北道大行台，愔随之任。有邯郸人杨宽者，求义从出藩，愔请津纳之。俄而孝庄幽崩，愔时适欲还都，行达邯郸，过杨宽家，为宽所执。至相州，见刺史刘诞，以愔名家盛德，甚相哀念，付长史慕容白泽禁止焉。遣队主巩荣贵防禁送都，至安阳亭，愔谓荣贵曰："仆百世忠臣，输诚魏室，家亡国破，一至于此。虽曰囚虏，复何面目见君父之雠！得自缢于一绳，传首而去，君之惠也。"荣贵深相矜感，遂与俱逃。愔乃投高昂兄弟。
既潜窜累载，属齐神武至信都，遂投刺辕门。便蒙引见，赞扬兴运，陈诉家祸，言辞哀壮，涕泗横集。神武为之改容，即署行台郎中。南攻邺，历杨宽村，宽于马前叩头请罪。愔谓曰："人不识恩义，盖亦常理。我不恨卿，无假惊怖。"时邺未下，神武命愔作祭天文，燎毕而城陷。由是转大行台右丞。于时霸图草创，军国务广，文檄教令皆自愔及崔甗出。
遭罹家难，常以丧礼自居，所食唯盐米而已，哀毁骨立。神武愍之，常相开慰。及韩陵之战，愔每阵先登。朋僚咸共怪叹曰："杨氏儒生，今遂为武士，仁者必勇，定非虚论。"顷之，表请解职还葬，一门之内，赠太师、太傅、丞相、大将军者二人；太尉、录尚书及尚书令者三人；仆射、尚书者五人；刺史、太守者二十余人。追荣之盛，古今未之有也。及丧柩进发，吉凶仪卫亘二十余里，会葬者将万人。是日，隆冬盛寒，风雪严厚，愔跣步号哭，见者无不哀之。寻征赴晋阳，仍居本职。
愔从兄幼卿为岐州刺史，以直言忤旨见诛。愔闻之悲惧，因哀感发疾，后取急就雁门温汤疗疾。郭季素害其能，因致书恐之曰："高王欲送卿于帝所。"仍劝其逃亡。愔遂弃衣冠于水滨，若见沈者。变易名姓，自称刘士安。入嵩山，与沙门昙谟征等屏居削迹。又潜之光州，因东入田横岛，以讲诵为业，海隅之士谓之刘先生。太守王元景阴佑之。
神武知愔存，遣愔从兄宝猗赍书慰喻；仍遣光州刺史奚思业令搜访，以礼发遣。神武见之悦，除太原公开府司马，转长史，复授大行台右丞，封华阴县侯，迁给事黄门侍郎，妻以庶女。又兼散骑常侍，为聘梁使主。至碻磝，州内有愔家旧佛寺。精庐礼拜，见太傅容像，悲感恸哭，呕血数升，遂发病不成行，舆疾还邺。久之，以本官兼尚书吏部郎中。武定末，以望实之美，超拜吏部尚书，加侍中、卫将军，侍学典选如故。
天保初，以本官领太子少傅，别封阳夏县男。又诏监太史，迁尚书右仆射。尚太原长公主，即魏孝静后也。会有雉集其舍，又拜开府仪同三司、尚书右仆射，改封华山郡公。九年，徙尚书令，又拜特进、骠骑大将军。十年，封开封王。文宣之崩，百寮莫有下泪，愔悲不自胜。济南嗣业，任遇益隆，朝章国命，一人而已。推诚体道，时无异议。乾明元年二月，为孝昭帝所诛，时年五十。天统末，追赠司空公。