一日，论靖康时事，上曰："渊圣勤于政事，省览章奏，至终夜不寐，然卒致播迁，何耶？"纲曰："人主之职在知人，进君子而退小人，则大功可成，否则衡石程书，无益也。"因论靖康初朝廷应敌得失之策，且极论金人两至都城，所以能守不能守之故；因勉上以明恕尽人言，以恭俭足国用，以英果断大事。上皆嘉纳。又奏："臣尝言车驾巡幸之所，关中为上，襄阳次之，建康为下。陛下纵未能行上策，犹当且适襄、邓，示不忘故都，以系天下之心。不然，中原非复我有，车驾还阙无期，天下之势遂倾不复振矣。"上为诏谕两京以还都之意，读者皆感泣。
未几，有诏欲幸东南避敌，纲极论其不可，言："自古中兴之主，起于西北，则足以据中原而有东南，起于东南，则不能以复中原而有西北。盖天下精兵健马皆在西北，一旦委中原而弃之，岂惟金人将乘间以扰内地；盗贼亦将蜂起为乱，跨州连邑，陛下虽欲还阙，不可得矣，况欲治兵胜敌以归二圣哉？夫南阳光武之所兴，有高山峻岭可以控扼，有宽城平野可以屯兵；西邻关、陕，可以召将士；东达江、淮，可以运谷粟；南通荆湖、巴蜀，可以取财货；北距三都，可以遣救援。暂议驻跸，乃还汴都，策无出于此者。今乘舟顺流而适东南，固甚安便，第恐一失中原，则东南不能必其无事，虽欲退保一隅，不易得也。况尝降诏许留中原，人心悦服，奈何诏墨未干，遽失大信于天下！"上乃许幸南阳，而黄潜善、汪伯彦实阴上巡幸东南之议。客或有谓纲曰："外论汹汹，咸谓东幸已决。"纲曰："国之存亡，于是焉分，吾当以去就争之。"初，纲每有所论谏，其言虽切直，无不容纳，至是，所言常留中不报。已而迁纲尚书左仆射兼门下侍郎，黄潜善除右仆射兼中书侍郎。张所乞且置司北京，俟措置有绪，乃渡河。北京留守张益谦，潜善党也，奏招抚司之扰，又言自置司河北，盗贼益炽。纲言："所尚留京师，益谦何以知其扰？河北民无所归，聚而为盗，岂由置司乃有盗贼乎？"
有旨令留守宗泽节制傅亮，即日渡河。亮言："措置未就而渡河，恐误国事。"纲言："招抚、经制，臣所建明，而张所、傅亮，又臣所荐用。今潜善、伯彦沮所及亮，所以沮臣。臣每览靖康大臣不和之失，事未尝不与潜善、伯彦议而后行，而二人设心如此，愿陛下虚心观之。"既而诏罢经制司，召亮赴行在。纲言："圣意必欲罢亮，乞以御笔付潜善施行，臣得乞身归田。"纲退，而亮竟罢，乃再疏求去。上曰："卿所争细事，胡乃尔？"纲言："方今人材以将帅为急，恐非小事。臣昨议迁幸，与潜善、伯彦异，宜为所嫉。然臣东南人，岂不愿陛下东下为安便哉？顾一去中原，后患有不可胜言者。愿陛下以宗社为心，以生灵为意，以二圣未还为念，勿以臣去而改其议。臣虽去左右，不敢一日忘陛下。"泣辞而退。或曰："公决于进退，于义得矣，如谗者何？"纲曰："吾知尽事君之道，不可，则全进退之节，患祸非所恤也。
初，二帝北行，金人议立异姓。吏部尚书王时雍问于吴幵、莫俦，二人微言敌意在张邦昌，时雍未以为然。适宋齐愈自敌所来，时雍又问之，齐愈取片纸书"张邦昌"三字，时雍意乃决，遂以邦昌姓名入议状。至是，齐愈论纲三事之非，不报。拟章将再上，其乡人嗛齐愈者，窃其草示纲。时方论僣逆附伪之罪，于是逮齐愈，齐愈不承，狱吏曰："王尚书辈所坐不轻，然但迁岭南，大谏第承，终不过逾岭尔。"齐愈引伏，遂戮之东市。张浚为御史，劾纲以私意杀侍从，且论其买马招军之罪。诏罢纲为观文殿大学士、提举洞霄宫。尚书右丞许翰言纲忠义，合之无以佐中兴。会上召见陈东，东言："潜善、伯彦不可任，纲不可去。"东坐诛。翰曰："吾与东皆争李纲者，东戮都市，吾在庙堂，可乎？"遂求去。后有旨，纲落职居鄂州。
自纲罢，张所以罪去，傅亮以母病辞归，招抚、经制二司皆废。车驾遂东幸，两河郡县相继沦陷，凡纲所规画军民之政，一切废罢。金人攻京东、西，残毁关辅，而中原盗贼蜂起矣。