又上表请置谏官，高祖皆纳焉。
太宗即位，赐爵乐安县男。贞观元年，转大理少卿。太宗尝马射，伏伽上书谏曰："臣闻千金之子，坐不垂堂；百金之子，立不倚衡。以此言之，天下之主，不可履险乘危明矣。臣又闻天子之居也，则禁卫九重；其动也，则出警入跸。此非极尊其居处，乃为社稷生灵之大计耳。故古人云：'一人有庆，兆人赖之。'臣窃闻陛下犹自走马射帖，娱悦近臣，此乃无禁乘危，窃为陛下有所不取也。何者？一则非光史册，二则未足显扬，又非所以导养圣躬，亦不可以垂范后代。此只是少年诸王之所务，岂得既为天子，今日犹行之乎？陛下虽欲自轻，其奈社稷天下何！如臣愚见，窃谓不可。"太宗览之大悦。五年，坐奏囚误失免官。寻起为刑部郎中，累迁大理少卿，转民部侍郎。十四年，拜大理卿，后出为陕州刺史。永徽五年，以年老致仕。显庆三年卒。
张玄素，蒲州虞乡人。隋末，为景城县户曹。窦建德攻陷景城，玄素被执，将就戮，县民千余人号泣请代其命，曰："此人清慎若是，今倘杀之，乃无天也。大王将定天下，当深加礼接，以招四方，如何杀之，使善人解体？"建德遽命释之，署为治书侍御史，固辞不受。及江都不守，又召拜黄门侍郎，始应命。建德平，授景城都督府录事参军。太宗闻其名，及即位，召见，访以政道。对曰："臣观自古以来，未有如隋室丧乱之甚，岂非其君自专，其法日乱。向使君虚受于上，臣弼违于下，岂至于此？且万乘之重，又欲自专庶务，日断十事而五条不中，中者信善，其如不中者何？况一日万机，己多亏失，以日继月，乃至累年，乖谬既多，不亡何待！如其广任贤良，高居深视，百司奉职，谁敢犯之？臣又观隋末沸腾，被于宇县，所争天下者不过十数人，余皆保邑全身，思归有道。是知人欲背主为乱者鲜矣，但人君不能安之，遂致于乱。陛下若近览危亡，日慎一日，尧、舜之道，何以能加！"太宗善其对，擢拜侍御史，寻迁给事中。贞观四年，诏发卒修洛阳宫乾阳殿，以备巡幸。玄素上书谏曰：
微臣窃思秦始皇之为君也，藉周室之余、六国之盛，将贻之万叶，及其子而亡，良由逞嗜奔欲，逆天害人者也。是知天下不可以力胜，神祗不可以亲恃，惟当弘俭约，薄赋敛，慎终如始，可以永固。方今承百王之末，属凋弊之余，必欲节之以礼制，陛下宜以身为先。东都未有幸期，即何须补葺？诸王今并出藩，又须营构，兴发渐多，岂疲人之所望？其不可一也。陛下初平东都之始，层楼广殿，皆令撤毁，天下翕然，同心欣仰。岂有初则恶其侈靡，今乃袭其雕丽？其不可二也。每承音旨，未即巡幸，此则事不急之务，成虚费之劳。国无兼年之积，何用两都之好，劳役过度，怨讟将起。其不可三也。百姓承乱离之后，财力凋尽，天恩含育，粗见存立，饥寒犹切，生计未安，三五年间，恐未平复。奈何营未幸之都，夺疲人之力？其不可四也。昔汉高祖将都洛阳，娄敬一言，即日西驾，岂不知地惟土中，贡赋所均，但以形胜不如关内也。伏惟陛下化凋弊之人，革浇漓之俗，为日尚浅，未甚淳和。斟酌事宜，讵可东幸？其不可五也。臣又尝见隋室造殿，楹栋宏壮，大木非随近所有，多从豫章采来。二千人曳一柱，其下施毂，皆以生铁为之，若用木轮，便即火出。铁毂既生，行一二里即有破坏，仍数百人别赍铁毂以随之，终日不过进三二十里。略计一柱，已用数十万功，则余费又过于此。臣闻阿房成，秦人散；章华就，楚众离；及乾阳毕功，隋人解体。且以陛下今时功力，何如隋日？役疮痍之人，袭亡隋之弊，以此言之，恐甚于炀帝。深愿陛下思之，无为由余所笑，则天下幸甚。
太宗曰："卿谓我不如炀帝，何如桀、纣？"对曰："若此殿卒兴，所谓同归于乱。且陛下初平东都，太上皇敕大殿高门并宜焚毁，陛下以瓦木可用，不宜焚灼，请赐与贫人。事虽不行，然天下翕然讴歌至德。今若遵旧制，即是隋役复兴。五六年间，趋舍顿异，何以昭示子孙，光敷四海？"太宗叹曰："我不思量，遂至于此。"顾谓房玄龄曰："洛阳土中，朝贡道均，朕故修营，意在便于百姓。今玄素上表，实亦可依，后必事理须行，露坐亦复何苦，所有作役，宜即停之。然以卑干尊，古来不易，非其忠直，安能若此？可赐彩二百匹。"侍中魏徵叹曰："张公论事，遂有回天之力，可谓仁人之言，其利博哉！"累迁太子少詹事，转右庶子。