宣武亲政，罢六辅。彝与兼尚书邢峦闻处分非常，惧，出京奔走。为御史中尉甄琛所弹，云"非武非兕，率彼旷野。"诏书切责之。寻除安西将军、秦州刺史。彝务尚典式，考访故事，及临陇右，弥加讨习。于是出入直卫，方伯羽仪，赫然可观。羌、夏畏伏，惮其威整；一方肃静，号为良牧。其年冬，太极初就，彝与郭祚等俱以勤旧被征。及还州，进号抚军将军。彝表解州任，诏不许。
彝敷政陇右，多所制立，宣布新风，革其旧俗，人庶爱仰之。为国造佛寺，名曰兴皇，诸有罪咎者，随其轻重，谪为土木之功，无复鞭杖之罚。时陈留公主寡居，彝意愿尚主，主亦许之。仆射高肇亦望尚主，主意不可。肇怒，谮彝擅立刑法，劳役百姓，诏遣直后万贰兴驰驿检察。贰兴，肇所亲爱，必欲致彝深罪。彝清身奉法，求其愆过，遂无所得。见代还洛，犹停废数年。
因得偏风，手脚不便；然志性不移，善自将摄，稍能朝拜。久之，除光禄大夫，加金章紫绶。彝爱好知己，轻忽下流，非其意者，视之蔑尔。虽疹疾家庭，而志气弥高。上《历帝图》五卷，起元庖牺，终于晋末，凡十六代，一百二十八帝，历三千二百七十年，杂事五百八十九。宣武善之。
明帝初，侍中崔光表："彝及李韶，朝列之中，唯此二人，出身官次，本在臣右，器能干世，又并为多。而近来参差，便成替后。计其阶途，虽应迁陟，然恐班秩，犹未赐等。昔卫之公叔，引下同举；晋之士丐，推长伯游。古人所高，当时见许。敢缘斯义，乞降臣位一阶，授彼泛级。"诏加征西将军、冀州大中正。
虽年向六十，加之风疹，而自强人事，孜孜无怠。公私法集，衣冠从事，延请道俗，修营斋讲。好善钦贤，爱奖人物，南北亲旧，莫不多之。大起第宅，微号华侈。颇侮其疏宗旧戚，不甚存纪，时有怨憾焉。荣宦之间，未能止足，屡表在秦州豫有开援汉中之勋，希加赏报，积年不已，朝廷患之。
第二子仲瑀上封事，求铨别选格，排抑武人，不使预在清品。由是众口喧喧，谤讟盈路，立榜大巷，克期会集，屠害其家。彝殊无畏避之意，父子安然。神龟二年二月，羽林武贲将几千人，相率至尚书省诟骂，求其长子尚书郎始均不获，以瓦石击打公门。上下慑惧，莫敢讨抑。遂持火虏掠道中薪蒿，以杖石为兵器，直造其第，曳彝堂下，捶挞极意，唱呼焚其屋宇。始均、仲瑀当时逾北垣而走。始均回救其父，拜伏群小，以请父命。羽林等就加殴击，生投之于烟火中，及得尸骸，不复可识，唯以髻中小钗为验。仲瑀走免。彝仅有余命，沙门寺与其比邻，舆致于寺。远近闻见，莫不惋骇。乃卒。官为收掩羽林凶强者八人斩之。不能穷诛群竖，即为大赦，以安众心，有识者知国纪之将坠矣。
丧还所焚宅，与始均东西分敛于小屋。仲瑀遂以创重，避居荥阳。至五月得渐瘳，始奔父丧，诏赐以布帛。灵太后以其累朝大臣，特垂矜恻，数月犹追言泣下，谓诸侍臣曰："吾为张彝饮食不御，乃至首发微有亏落。"悲痛之若此。
初，彝曾祖幸所招引河东人为州，裁千余家。后相依合，旋罢入冀州。积三十年，析别有数万户。故孝文比校天下人户，最为大州。彝为黄门，每侍坐，以为言。孝文谓之曰："终当以卿为刺史，酬先世诚效。"彝追孝文往旨，累乞本州，朝议未许。彝亡后，灵太后云："彝屡乞冀州，吾欲用之，有人违我此意。若从其请，或不至是，悔之无及。"乃赠使持节、卫将军、冀州刺史，谥文侯。
始均字子衡，端洁好学，才干有美于父。改陈寿《魏书》为编年之体，广益异闻为三十卷。又著《冠带录》及诸诗赋数十篇，并亡失。初，大乘贼起于冀、瀛之间，遣都督元遥讨平之，多所杀戮，积尸数万。始均以郎中为行台，忿军士以首级为功，令检集人首数千，一时焚爇，至于灰烬，用息侥幸，见者莫不伤心。及始均之死也，始末在烟炭之间，有焦烂之痛，论者或亦推咎焉。赠乐陵太守，谥曰孝。
子皓之，袭祖爵。武定中，开府主簿，齐受禅，爵例降。皓之弟晏之。
晏之字熙德幼孤，有至性，为母郑氏教诲，动依礼典。从尔朱荣平元颢，赐爵武城子。累迁尚书二千石郎中。高岳征颍川，复以为都督中兵参军，兼记室。晏之文士，兼有武干。每与岳帷帐之谋，又尝以短兵接刃，亲获首级，深为岳所嗟赏。齐天保初，文宣为高阳王纳晏之女为妃，令赴晋阳成礼。晏之后园陪宴，坐客皆赋诗。晏之诗云："天下有道，主明臣直；虽休勿休，永贻世则。"文宣笑曰："得卿箴讽，深以慰怀。"后行北徐州事，寻即真，为吏人所爱。御史崔子武督察州郡，至北徐，无所案劾，唯得百姓制《清德颂》数篇，乃叹曰："本求罪状，遂闻颂声。"迁兖州刺史，未拜，卒。赠齐州刺史、太常卿。子乾威。