十五年，征拜兵部尚书，未赴京，会薛延陀遣其子大度设帅骑八万南侵李思摩部落。命勣为朔州行军总管，率轻骑三千追及延陀于青山，击大破之，斩其名王一人，俘获首领，虏五万余计，以功封一子为县公。勣时遇暴疾，验方云，须灰可以疗之，太宗乃自翦须，为其和药。勣顿首见血，泣以恳谢，帝曰："吾为社稷计耳，不烦深谢。"十七年，高宗为皇太子，转勣太子詹事兼左卫率，加位特进，同中书门下三品。太宗谓曰："我儿新登储贰，卿旧长史，今以宫事相委，故有此授。虽屈阶资，可勿怪也。"太宗又尝闲宴，顾勣曰："朕将属以幼孤，思之无越卿者。公往不遗于李密，今岂负于朕哉！"勣雪涕致辞，因噬指流血。俄而沉醉，乃解御服覆之，其见委信如此。十八年，太宗将亲征高丽，授勣辽东道行军大总管，攻破盖牟、辽东、白崖等数城，又从太宗摧殄驻跸阵，以功封一子为郡公。二十年，延陀部落扰乱，诏勣将二百骑便发突厥兵讨击。至乌德鞬山，大战破之。其大首领梯真达于率众来防，其可汗咄摩支南窜于荒谷，遣通事舍人萧嗣业招慰部领，送于京师，碛北悉定。二十二年，转太常卿，仍同中书门下三品。旬日，复除太子詹事。二十三年，太宗寝疾，谓高宗曰："汝于李勣无恩，我今将责出之。我死后，汝当授以仆射，即荷汝恩，必致其死力。"乃出为叠州都督。高宗即位，其月，召拜洛州刺史，寻加开府仪同三司，令同中书门下，参掌机密。是岁，册拜尚书左仆射。永徽元年，抗表求解仆射，仍令以开府仪同三司依旧知政事。四年，册拜司空。初，贞观中，太宗以勋庸特著，尝图其形于凌烟阁，至是，帝又命写形焉，仍亲为之序。显庆三年，从幸东都，在路遇疾，帝亲临问。麟德初，东封泰山，诏勣为封禅大使，乃从驾。次滑州，其姊早寡，居勣旧闾，皇后亲自临问，赐以衣服，仍封为东平郡君。又坠马伤足，上亲降问，以所乘赐之。
乾封元年，高丽莫离支男产为其弟男建所逐，保于国内城，遣子献城诣阙乞师。总章元年，命勣为辽东道行军总管，率兵二万略地至鸭绿水。贼遣其弟来拒战，勣纵兵击败之，追奔二百里，至于平壤城。男建闭门不敢出，贼中诸城骇惧，多拔人众遁走，降款者相继。勣又引兵围平壤，辽东道副大总管刘仁轨、郝处俊、将军薛仁贵并会于平壤，犄角围之。经月余，克其城，虏其王高藏及男建、男产，裂其诸城，并为州县，振旅而旋。令勣便道以高藏及男建献于昭陵，礼毕，备军容入京城，献太庙。二年，加太子太师，增食实封通前一千一百户。其年寝疾，诏以勣为司卫正卿，使得视疾。寻薨，年七十六。帝为之举哀，辍朝七日，赠太尉、扬州大都督，谥曰贞武，给东园秘器，陪葬昭陵。令司平太常伯杨昉摄同文正卿监护。及葬日，帝幸未央古城，登楼临送，望柳车恸哭，并为设祭。皇太子亦从驾临送，哀恸悲感左右。诏百官送至故城西北，所筑坟一准卫、霍故事，象阴山、铁山及乌德鞬山，以旌破突厥、薛延陀之功。光宅元年，诏勣配享高宗庙庭。
勣前后战胜所得金帛，皆散之于将士。初得黎阳仓，就仓者数十万人。魏徵、高季辅、杜正伦、郭孝恪皆游其所，一见于众人中，即加礼敬，引之卧内，谈谑忘倦。及平武牢，获伪郑州长史戴胄，知其行能，寻释于竟，推荐咸至显达，当时称其有知人之鉴。又，初平王世充，获其故人单雄信，依例处死，勣表称其武艺绝伦，若收之于合死之中，必大感恩，堪为国家尽命，请以官爵赎之。高祖不许，临将就戮，勣对之号恸，割股肉以啖之，曰："生死永诀，此肉同归于土矣。"仍收养其子。每行军用师，颇任筹算，临敌应变，动合事机。与人图计，识其臧否，闻其片善，扼腕而从。事捷之日，多推功于下，以是人皆为用，所向多克捷。洎勣之死，闻者莫不凄怆。与弟弼特存友爱，闺门之内，肃若严君。自遇疾，高宗及皇太子送药，即取服之；家中召医巫，皆不许入门。子弟固以药进，勣谓曰："我山东一田夫耳，攀附明主，滥居富贵，位极三台，年将八十，岂非命乎？修短必是有期，宁容浪就医人求活！"竟拒而不进。忽谓弼曰："我似得小差，可置酒以申宴乐。"于是堂上奏女妓，檐下列子孙。宴罢，谓弼曰："我自量必死，欲与汝一别耳。恐汝悲哭，诳言似差，可未须啼泣，听我约束。我见房玄龄、杜如晦、高季辅辛苦作得门户，亦望垂裕后昆，并遭痴儿破家荡尽。我有如许豚犬，将以付汝，汝可防察，有操行不伦、交游非类，急即打杀，然后奏知。又见人多埋金玉，亦不须尔。惟以布装露车，载我棺柩，棺中敛以常服，惟加朝服一副，死倘有知，望著此奉见先帝。明器惟作马五六匹，下帐用幔布为顶，白纱为裙，其中著十个木人，示依古礼刍灵之义，此外一物不用。姬媪已下，有儿女而愿住自养者，听之；余并放出。事毕，汝即移入我堂，抚恤小弱。违我言者，同于戮尸。"此后略不复语，弼等遵行遗言。