以秩满，迁长葛县令，甚有惠化，百姓号为慈父。仁寿中，帝令持节使者巡行州县，察长吏能不。以彦谦为天下第一，超授鄀州司马。吏人号哭相谓曰："房明府今去，吾属何用生为！"其后百姓思之，立碑颂德。鄀州久无刺史，州务皆归彦谦，名有异政。内史侍郎薛道衡，一代文宗，位望清显。所与交结，皆海内名贤。重彦谦为人，深加友敬。及为襄州总管，辞翰往来，交错道路。炀帝嗣位，道衡转牧番州，路经彦谦所，留连数日，屑涕而别。
黄门侍郎张衡亦与彦谦相善。于时帝营东都，穷极侈丽，天下失望。又汉王构逆，罹罪者多。彦谦见衡当涂而不能匡救，书谕之曰：
窃闻赏者所以劝善，刑者所以惩恶。故疏贱之人，有善必赏；尊贤之戚，犯恶必刑。未有罚则避亲，赏则遗贱者也。今国家祗承灵命，作人父母，刑赏曲直，升闻于天，夤畏照临，亦宜谨肃。故文王云："我其夙夜畏天之威。"以此而论，虽州、国有殊，高下悬邈，忧人慎法，其理一也。
至如并州衅逆，须有甄明。若杨谅实以诏命不通，虑宗社危逼，征兵聚众，非为干纪，则当原其本情，议其刑罚；上副圣主友于之意，下晓愚人疑惑之心。若审知外内无虞，嗣后纂统，而好乱乐祸，妄有觊觎，则管、蔡之诛，当在于谅。同恶相济，无所逃罪；枭县孥戮，国有常刑。遂使籍没流移，恐为冤滥。恢恢天网，岂其然乎！罪疑从轻，斯义安在！昔叔向置鬻狱之死，晋国所嘉；释之断犯跸之刑，汉文称善。羊舌宁不爱弟，廷尉非苟违君，俱以执法无私，不容轻重。
且圣人大宝，是曰神器，苟非天命，不可妄得。故蚩尤、项籍之骁勇，伊尹、霍光之权势，李老、孔丘之才智，吕望、孙武之兵术，吴、楚连盘石之据，产、禄承母弟之基，不应历运之兆，终无帝主之位。况乎蕞尔一隅，蜂扇蚁聚，杨谅之愚鄙，群小之凶慝，而欲凭陵畿甸，觊幸非望者哉。开辟以降，书契云及，帝皇之迹，可得而详。自非积德累仁，丰功厚利，孰能道洽幽显，义感灵祗？是以古之哲王，昧旦丕显，履冰在念，御朽兢怀。逮叔世骄荒，曾无戒惧，肆于人上，骋嗜奔欲，不司具载，谓略陈之。
曩者，齐、陈二国，并居大位。自谓与天地合德，日月齐明，罔念忧虞，不恤刑政。近臣怀宠，称善而隐恶；史官曲笔，掩瑕而录美。是以人庶呼嗟，终闭塞于视听；公卿虚誉，日敷陈于左右。法网严密，刑辟日多，赋役烦兴，老幼疲苦。昔郑有子产，齐有晏婴，楚有叔敖，晋有士会，凡此小国，尚足名臣，齐、陈之强，岂无良佐？但以执政壅蔽，怀私殉躯，忘国忧家，外同内忌。设有正直之士，才堪干时，于己非宜，即加摈弃；傥遇谄佞之辈，行多秽慝，于我有益，遽蒙荐举。以此求贤，何从而至。夫贤材者，非尚膂力，岂系文华，唯须正身负戴。确乎不动，譬栋之处屋，如骨之在身，所谓栋梁骨鲠之材也。齐、陈不任骨鲠，信近谗谀，天高听卑，监其淫僻。故总收神器，归我大隋。向使二国祗敬上玄，惠恤鳏寡，委任方直，斥远浮华，卑菲为心，恻隐是务，河朔强富，江湖险隔，各保其业，人不思乱，泰山之固，弗可动也。然而寝卧积薪，宴安鸩毒，遂使禾黍生庙，务露沾衣，吊影抚心，何嗟及矣！故《诗》云："殷之未丧师，克配上帝。宜鉴于殷，骏命不易。"万机之事，何者不须熟虑哉。
伏惟皇帝望云就日，仁孝夙彰，锡社分珪，大成规矩。及总统淮海，盛德日新，当璧之符，遐迩佥属。缵历甫尔，宽仁已布，率土苍生，翘足而喜。并州之乱，变起仓卒，职由杨谅诡惑，诖误吏人；非有构怨本朝，弃德从贼者也。而有司将帅，称其愿反，非止诬陷良善，亦恐大玷皇猷。
足下宿当重寄，早预心膂，粤自藩邸，柱石见知，方当书名竹帛，传芳万古，稷、契、伊、吕，彼独何人。既属明时，须存謇谔，立当世之大诫，作将来之宪范，岂容曲顺人主，以爱亏刑；又使胁从之徒，横贻罪谴。忝蒙眷遇，辄写微诚，野人愚瞽，不知忌讳。
衡得书，叹息而不敢奏闻。
彦谦知王纲不振，遂去官，隐居不仕。将结构蒙山之下，以求其志。会置司隶官，盛选天下知名之士。朝廷以彦谦公方宿著，时望所归，征授司隶刺史。彦谦亦慨然有澄清天下之志，凡所荐举，皆人伦表式。其有弹射，当之者曾无怨言。司隶别驾刘灹陵上侮下，讦以为直，刺史惮之，皆为之拜。唯彦谦执志不挠，抗礼长揖。有识嘉之，