初贬潮州，虽苍黄颠沛之中，犹留心著述，杂序数十篇，号曰《穷愁志》。其《论冥数》曰：
仲尼罕言命，不语神，非谓无也。欲人严三纲之道，奉五常之教，修天爵而致人爵，不欲信富贵于天命，委福禄于冥数。昔卫卜协于沙兵，为谥已久；秦塞属于临洮，名子不悟；朝歌未灭，而国流丹乌；白帝尚在，而汉断素蛇。皆兆发于先，而符应于后，不可以智测也。周、孔与天地合德，与神明合契，将来之数，无所遁情。而狼跋于周，凤衰于楚，岂亲戚之义，不可去也，人伦之教，不可废也。条侯之贵，邓通之富，死于兵革可也，死于女室可也，唯不宜以馁终，此又不可以理得也。命偶时来，盗有名器者，谓祸福出于胸怀，荣枯生于口吻，沛然而安，溘然而笑，曾不知黄雀游于茂树，而挟弹者在其后也。
乙丑岁，予自荆楚，保厘东周，路出方城间，有隐者困于泥涂，不知其所如，谓方城长曰："此官人居守后二年，南行万里。"则知憾予者必因天谴，谮予者乃自鬼谋。虽抱至冤，不为恨。予尝三遇异人，非卜祝之流，皆遁世者。初掌记北门，管涔隐者谓予曰："君明年当在人君左右，为文翰之职，须值少主。"予闻之，愕然变色，隐者亦悔失言，避席求去。予问曰："何为事少主？"对曰："君与少主已有宿缘。"其年秋登朝，至明年正月，穆宗缵绪，召入禁苑。及为中丞，闽中隐者叩门请见，予下榻与语，曰："时事非久，公不早去，冬必作相，祸将至矣。若亟请居外，则代公者受患。公后十年终当作相，自西而入。"是秋，出镇吴门，时年三十六岁。经八稔，寻又仗钺南燕。秋暮，有邑子于生引邺郡道士至。才升阶，未及命席，谓予曰："公当为西南节制，孟冬望舒前，符节至矣。"三者皆与之协，不差岁月。自宪闱竟十年居相位，由西蜀而入，代予持宪者，俄亦窜逐。唯再谪南荒，未尝有前知之士为予言之。岂祸患不可移者，神道所秘，莫得预闻。
其自序如此。斯论可以警夫躁竞者，故书于事末。
德裕三子。烨，检校祠部员外郎、汴宋亳观察判官。大中二年，坐父贬象州立山尉。二子幼，从父殁于崖州。烨咸通初量移郴州郴县尉，卒于桂阳。子延古。
史臣曰：臣总角时，亟闻耆德言卫公故事。是时天子神武，明于听断；公亦以身犯难，酬特达之遇。言行计从，功成事遂，君臣之分，千载一时。观其禁掖弥纶，岩廊启奏，料敌制胜，襟灵独断，如由基命中，罔有虚发，实奇才也。语文章，则严、马扶轮；论政事，则萧、曹避席。罪其窃位，即太深文。所可议者，不能释憾解仇，以德报怨，泯是非于度外，齐彼我于环中。与夫市井之徒，力战锥刀之末，沦身瘴海，可为伤心。古所谓攫金都下，忽于市人，离娄不见于眉睫。才则才矣，语道则难。
赞曰：公之智决，利若青萍。破虏诛叛，摧枯建瓴。功成北阙，骨葬南溟。呜呼烟阁，谁上丹青？