及晋祖入洛，以道为首相。二年，契丹遣使加徽号于晋祖，晋祖亦献徽号于契丹，谓道曰：“此行非卿不可。”道无难色。晋祖又曰：“卿官崇德重，不可深入沙漠。”道曰：“陛下受北朝恩，臣受陛下恩，何有不可！”（《谈苑》云：道与诸相归中书，食讫，外厅堂吏前白道言北使事。吏人色变手战，道取纸一幅，署云：“道去。”即遣写敕进，堂吏泣下。道遣人语妻子，不复归家，即日舍都亭驿，不数日北行。晋祖饯宴，语以家国之故，烦耆德远使，自酌卮酒赐之，泣下。）及行，将达西楼，契丹主欲郊迎，其臣曰：“天子无迎宰相之礼。”因止焉，其名动远俗也如此。（《谈苑》云：契丹赐其臣牙笏及腊日赐牛头者为殊礼，道皆得之，作诗以纪曰：“牛头偏得赐，象笏更容持。”契丹主甚喜，遂潜谕留意，道曰：“南朝为子，北朝为父，两朝皆为臣，岂有分别哉！”道在契丹，凡得所赐，悉以市薪炭，征其意，云：“北地苦寒，老年所不堪，当为之备。”若将久留者。契丹感其意，乃遣归，道三上表乞留，固遣乃去，犹更住馆中月余。既行，所至留驻，凡两月方出境，左右语道曰：“当北土得生还，恨无羽翼，公独宿留，何也？”道曰：“纵急还，彼以筋脚马，一夕即追及，亦何可脱，但徐缓即不能测矣。”众乃服。四年二月，始至京师。）及还，朝廷废枢密使，依唐朝故事，并归中书，其院印付道，事无巨细，悉以归之。寻加司徒、兼侍中，进鲁国公。晋祖曾以用兵事问道，道曰：陛下历试诸艰，创成大业，神武睿略，为天下所知，讨伐不庭，须从独断。臣本自书生，为陛下在中书，守历代成规，不敢有一毫之失也。臣在明宗朝，曾以戎事问臣，臣亦以斯言答之。”晋祖颇可其说。道尝上表求退，晋祖不之览，先遣郑王就省，谓曰：“卿来日不出，朕当亲行请卿。”道不得已出焉。当时宠遇，无与为比。
晋少帝即位，加守太尉，进封燕国公。道尝问朝中熟客曰：“道之在政事堂，人有何说？”客曰：“是非相半。”道曰：“凡人同者为是，不同为非，而非道者，十恐有九。昔仲尼圣人也，犹为叔孙武叔所毁，况道之虚薄者乎！”然道之所持，始终不易。后有人间道于少帝曰：“道好平时宰相，无以济其艰难，如禅僧不可呼鹰耳！”由是出道为同州节度使。岁余，移镇南阳，加中书令。契丹入汴，道自襄、邓召入，契丹主从容问曰：“天下百姓，如何可救？”道曰：“此时百姓，佛再出救不得，惟皇帝救得。”其后衣冠不至伤夷，皆道与赵延寿阴护之所至也。是岁三月，随契丹北行，与晋室公卿俱抵常山。俄而比主卒，永康王代统其众。及北去，留其族嘉里以据常山。时汉军愤激，因共逐出嘉里，寻复其城。道率同列四出按抚，因事从宜，各安其所。人或推其功，道曰：“儒臣何能为，皆诸将之力也。”道以德重，人所取则，乃为众择诸将之勤宿者，以骑校白再荣权为其帅，军民由是帖然，道首有力焉。道在常山，见有中国士女为契丹所俘者，出橐装以赎之，皆寄于高尼精舍，后相次访其家以归之。又，契丹先留道与李崧、和凝及文武官等在常山，是岁闰七月二十九日，契丹有诏追崧，令选朝士十人赴木叶山行事。北帅满达勒召道等至帐所，欲谕之，崧偶先至，知其意，惧形于色。满达勒将以明日与朝士齐遣之，崧乃不俟道，与凝先出，既而相遇于帐门之外，因与分首俱归。俄而李筠等纵火与契丹交斗，鼓槊相及。是日若齐至，与满达勒相见，稍或踌躇，则悉为俘矣。时论者以道布衣有至行，立公朝有重望，其阴报昭感，多此类也。
及自常山入觐，汉祖嘉之，拜守太师。（《洛阳搢绅旧闻记》：赠大监张公璨，汉祖即位之初为上党戎判。汉祖在北京时，大聚甲兵，禁牛皮不得私贸易及民间盗用之，如有牛死，即时官纳其皮，其有犯者甚众。及即大位，三司举行请禁天下牛皮法，与河东时同，天下苦之。会上党民犯牛皮者二十余人，狱成，罪俱当死。大监时为判官，独执曰：“主上钦明，三司不合如此起请，二十余人死尚间可，使天下犯者皆衔冤而死乎！且主上在河东，大聚甲兵，须藉牛皮，严禁可也，今为天下君，何少牛皮，立法至于此乎！”遂封奏之。时三司使方用事，执政之地，除冯瀛王外皆恶之，曰：“岂有州郡使敢非朝廷诏敕！”力言于汉祖。汉祖亦怒曰：“昭义一判官，是何敢如此！其犯牛皮者，依敕俱死。大监以非毁诏敕，亦死。”敕未下，独瀛王非时请见。汉祖出，瀛王曰：“陛下在河东时，断牛皮可也，今既有天下，牛皮不合禁。陛下赤子枉死之，亦足为陛下惜。昭义判官，以卑位食陛下禄，居陛下官，不惜躯命，敢执而奏之，可赏不可杀。臣当辅弼之任，使此敕枉害天下人性命，臣不能早奏，使陛下正，臣罪当诛。”稽首再拜。又曰：“张璨不合加罪，望加敕赦之。”汉祖久之曰：“已行之矣。”冯瀛王曰：“敕未下。”汉祖遽曰：“与赦之。”冯曰：“勒停可乎？”上曰：“可。”由是改其敕，记其略曰：“三司邦计，国法攸依，张璨体事未明，执理乖当，宜停见职，犯牛皮者贷命放之。”大监听宣敕讫，闻敕云“执理乖当”，尚曰：“中书自不能执理，若一一教外道判官执理，则焉用彼相乎！”）乾祐中，道奉朝请外，平居自适。一日，著《长乐老自叙》云：