时西域诸蕃多至张掖与中国交市，帝令矩掌其事。矩知帝方勤远略，诸胡至者，矩诱令言其国俗山川险易，撰西域图记三卷，入朝奏之。其序曰：
臣闻禹定九州，导河不逾积石。秦兼六国，设防止于临洮。故知西胡杂种，僻居遐裔，礼教之所不及，书典之所罕传。自汉氏兴基，开拓河右，始称名号者有四十六国。其后分立，乃五十五王。仍置校尉、都护，以存招抚。然叛服不恒，屡经征战。后汉之世，频废此官；虽大宛以来，略知户数，而诸国山川，未有名目。至如姓氏、风土、服章、物产，全无纂录，世所弗闻。复以春秋递谢，年代久远，兼并诛讨，互有兴亡。或地是故邦，改从今号；或人非旧类，同袭昔名。兼复部人交错，封疆移改，戎狄音殊，事难穷验。于阗之北，葱岭以东，考于前史，三十余国。其后更相屠灭，仅有十存，自余沦没，扫地俱尽，空有丘墟，不可记识。
皇上应天育物，无隔华夷；率土黔黎，莫不慕化。风行所及，日入以来，职贡皆通，无远不至。臣既因抚纳，监知关市，寻讨书籍，访采胡人。或有所疑，即详众口，依其本国服饰仪形，王及庶人各显容止，即丹青摸写为《西图域记》，共成三卷，合三十五国。仍别造地图，穷其要害，从西顷以去，北海之南，纵横所互，将二万里。谅由富商大贾，周游经涉，故诸国之事，罔不偏知。复有幽荒远地，卒访难晓，不可凭虚，是以致阙。而二汉相踵，西域为传，户人数十，即称国王，徒有名号，有乖其实。今者所编，皆余千户，利尽西海，多产珍异。见山居之属，非有国名及部落小者，多亦不载。
发自敦煌，至于西海，凡为三道，各有襟带。北道从伊吾经蒲类海、铁勒部、突厥可汗庭，度北流河水、至拂菻国，达于西海。其中道从高昌、焉耆、龟兹、疏勒，度葱岭，又经汗、苏勒沙那国、康国、曹国、何国、大小安国、穆国，至波斯，达于西海。其南道从鄯善、于阗、朱俱波、喝盘陀，度葱岭，又经护密、吐火罗、挹騑、忛延、漕国，至北婆罗门，达于西海。其三道诸国，亦各自有路，南北交通。其东安国、南婆罗门国等，并随其所往，诸处得达。故知伊吾、高昌、鄯善并西域之门户也，总凑敦煌，是其咽喉之地。
以国家威德，将士骁雄，泛濛汜而扬旌，越昆仑而跃马，易如反掌，何往不至。但突厥、吐谷浑分领羌胡之国，为其拥遏，故朝贡不通。今并因商人，密送诚款，引领翘首，愿为臣妾。圣情含养，泽及普天，服而抚之，务在安辑。故皇华遣使，弗动兵车，诸蕃既从，突厥可灭。混一戎夏，其在兹乎。不有所记，无以表威化之远也。
帝大悦，赐物五百段，每日引矩至御坐，亲问西方之事。矩盛言胡中多诸宝物，吐谷浑易可并吞。帝由是甘心，将通西域，西夷经略，咸以委之。
后迁黄门侍郎，复令往张掖，引致西蕃，至者十余国。大业三年，帝有事于恒岳，咸来助祭。帝将巡河右，复令矩往敦煌，矩遣使说高昌王麹伯雅及伊吾吐屯设等，啖以厚利，导之使入朝。及帝西巡，次燕支山。高昌王、伊吾设等及西蕃胡二十七国谒于道左，皆令佩金玉，被锦罽，焚香奏乐，歌舞喧噪。复令张掖、武威士女盛饰纵观，填咽周互数十里，以示中国之盛。帝见而大悦。竟破吐谷浑，拓地数千里。并遣兵戍之，每岁委输巨亿万计。诸蕃惧慑，朝贡相续。帝谓矩有绥怀略，进位银青光禄大夫。
其年冬，帝至东都。矩以蛮夷朝贡者多，讽帝令都下大戏，征四方奇伎异艺陈于端门街，衣锦绮、珥金翠者以十万数。又勒百官及百姓士女列坐棚阁而纵观焉，皆被服鲜丽，终月而罢。又令交市店肆皆设帷帐，盛酒食，遣掌蕃率蛮夷与人贸易，所至处悉令邀延就坐，醉饱而散。蛮夷嗟叹，谓中国为神仙。帝称矩至诚，谓宇文述、牛弘曰："裴矩凡所陈奏，皆朕之成算，朕未发，矩辄以闻。自非奉国，孰能若是。"
帝遣将军薛世雄城伊吾，令矩共往经略。矩讽谕西域诸国曰："天子为蕃人交易悬远，所以城耳。"咸以为然，不复来竞。及还，赐钱四十万。矩又白状，令反间射匮，潜攻处罗。后处罗为射匮所迫，竟随使者入朝。帝大悦，赐矩貂裘及西域珍器。
从帝巡塞北，幸启人帐。时高丽遣使先通于突厥，启人不敢隐，引之见帝。矩因奏曰："高丽地本孤竹国，周代以之封箕子，汉世分为三郡，晋氏亦统辽东。今乃不臣，列为外域，故先帝欲征之久矣。但以杨谅不肖，师出无功。当陛下时，安得不事，使此冠带之境仍为蛮貊之乡乎？今其使朝于突厥，亲见启人合国从化，必惧皇灵之远畅，虑后服之先亡，胁令入朝，当可致也。"帝曰："如何？"矩曰："请面诏其使，放还本国，遣语其王，令速朝觐。不然者，当率突厥，即日诛之。"帝纳焉。高元不用命，始建征辽之策。