当时皇上正专心于治理天下，多次下达韶书给民众，但有的官吏却不让百姓知道。太守黄霸却专门选择了优秀的下属吏员，分到各处去发布皇上韶令，让民众都能知道皇上的旨意。他还让邮亭乡官都养上鸡和猪，以赡养鳏寡贫穷的人。然后又制订了条令教则，发给各方父老、师帅和伍长等基层小吏，由其颁行于民间，劝说百姓严防奸盗，并安心于农耕蚕桑之业，节约使用货物资财，种树木、养牲畜，去掉浮华奢侈的浪费。像数米粒盐粒一样细密的公事，最初显得烦杂碎乱，然而黄霸却全力以付地加以推行。官吏民众凡可遇见的人，黄霸都要从其言行中了解有用的情况，询问事情的来龙去脉，以资参考。曾经遇有密事调查，于是择派一位老成的廉吏前往访察，并令其绝不能泄露机密。廉吏依言出发，途中易服微行，不敢住在驿亭，饿了便躲在路边悄悄地吃些食物，这时忽有一只乌鸦飞来抢走了他手裹拿的肉。百姓中正好有一个要到郡府陈报事情的人看到这一情况，便与黄霸讲了此事。H后那廉吏回来拜见黄霸，黄霸迎上前慰劳他，说：“太辛苦了！在路上吃饭还被乌鸦抢走了肉。”廉吏大惊，以为黄霸对他外出的起居情况都已知晓，所以对黄霸问及的调查结果便不敢有丝毫的隐瞒。郡中若有鳏寡孤独的人死了没钱安葬的，由乡吏上书报知，黄霸都能为他们分别妥善处理，告其某处有棵大树叮做棺椁之材，某亭有头小猪可以做宰祭之用，乡吏依令去取，果然都像黄霸所说的一样。黄霸了解情况清晰明了到这样的程度，官吏民众不知底细的人，都称他是神明。奸盗也祇好转移到其他的郡中，所以本郡的盗贼就曰渐减少。
黄霸尽力施行教化，然后才使用刑罚，注意成全维护下属官吏。许县县丞年纪老了，耳朵也聋了，督邮报告黄霸想要辞退他，黄霸说： “许县县丞是廉洁的官吏，虽然上了年纪，但还能应付官场拜起送迎之类的例行公事，即使很聋，又有何妨呢？还是好好地帮助他，不要让贤德的人失望。”有人请教他其中的缘故，黄霸道：“一再更换长吏，送旧迎新的费用，以及奸猾官吏乘机销毁账册文书而盗窃财物，公家和私人的损失很大，所有的费用都得百姓供给，换上的新官又未必贤德，或者还不如他的前任，白白地反复加剧混乱。大凡治民的道理，主要是做得不要太过头罢了。”
黄霸以外宽内明的作风而赢得了属吏和民众的心，从而郡内的户口逐年增长，治理情况堪称天下第一。皇上征召他试任京兆尹，俸禄二千石。后因调遣民工修治驰道没有事先上报朝，
又调遣骑士到北方造成军马无法配给的局面，黄霸被举劾影响了军队出动，于是他接连被贬官降职。后来有诏书令他回颖川l郡作太守，可俸禄却已被降至八百石居官。前后八年，郡中越加安顺。遣时凤凰神乌多次飞集各郡国，而颖川郡更是特别多。天子以为这是黄霸治理长久的吉兆，便下韶书赞扬他说：“颖川郡太守黄霸，积极向民众宣布皇上旨意，百姓都向往而归化了朝廷，守孝之子、尊长之弟、贞洁之妇以及乖顺之孙都日渐众多，在田地耕作的人互相谦让田界，在大道上行走的人不捡拾别人的遗失物品，供养探望鳏寡老人，赡养帮助贫苦穷人，监狱甚至八年没有重罪囚犯，官吏民众向往教化，熟衷交谊，真可说是贤人君子的风貌。《书经》中不是这样说吗？‘股肱大臣品行优良啊！’赐封黄霸爵号关内侯，黄金百斤，俸禄中二千。”而颖川郡孝悌贤民以及乡宫中三老、力田等都分等级赐予爵号和帛匹。几个月后，朝廷征召黄霸为太子太傅，又调任御史大夫。
五凤三年，黄霸取代丙吉任丞相，封建成侯，拥有六百户的封地。黄霸的才能主要是在地方治理人民，待做了丞相，需要全盘协调发布全国性的号令，其能力风度就不如丙吉、魏相和于定国等前任，其政绩名声比他治郡时也有所下降。时值京兆尹张敞家中的鵾雀飞到了丞相府，董灵以为是神雀，便商议着想上书称瑞。于是张敞奏了黄霸一本说：“臣下见到丞相和九卿、博士一起接见各郡国派来京师奏报考绩的长吏、守丞，让他们逐条报告为民兴利除弊、推行教育、感化的情况，凡是报告辖区内做到农夫在田间让田界，男女不混杂同行，遗失在路上的东西没有捡了据为已有，以及能列举出孝子、悌弟、贞妇姓名人数的，列为第一等，让他们先入厅屋上坐；有能举出郡中孝子、悌弟、贞妇的一些情况，但是说不出姓名人数的，列为第二等；没有制定条规制度的，在最后，这些郡国的长吏、守丞应向丞相叩头谢罪。丞相嘴上虽然没说话，实际上心裹是希望他们这样做。长吏、守丞众官正应对时，恰有臣下张敞家中鹃雀飞到丞相府屋上，丞相下面的官吏看到鵾雀的有数百人。官吏们大多认识鵾雀这种鸟，丞相询问他们，却都假装不知。丞相便商议上奏圣上说： ‘臣下黄霸召问前来报考绩的郡国长吏、守丞关于推行教化的情况时，上天显示祥瑞，降下了神雀。’事后他得知鹃雀是从臣下张敞家裹飞来，才没有上奏。郡国官吏都暗暗耻笑丞相虽有仁厚足智的名望，却又自以为是而大惊小怪。昔日汲黯接任淮阳太守，辞别同僚离京赴任，他对大行李息说： ‘御史大夫张汤内怀奸诈，欺君瞒上，你若不早去告发，一旦事情败露，恐怕你也难免与他同遭杀身之祸。’李息害怕张汤，一直没敢告发。后来张汤事情败露被诛，皇上听说了汲黯对李息说的话，就问了李息的罪而升任汲黯为诸侯相，以表彰他的一片忠心。臣张敞不敢诋毁丞相，惟恐众臣对此事不加上报，而长吏、守丞又害怕丞相的权势，致使法令失效，私心暗存，浮夸成风，淳朴失落，虚伪盛行，名实难符，公事懈怠，乱臣横行。假如下令京城地区先期推行‘让界分路，路不拾遣’之风，其实正好适得其反，而为天下事先树立了虚伪的典型，所以决不可行；就是诸侯国先期推行，若虚伪之风超过京城，其后果也不堪设想。我大汉朝除弊通变，制定法令，以便劝民从善，防盗禁奸，其条文详备，不可增改。应该令大臣明白地训示长吏、守丞，回去禀告郡守，推举三老、孝子、悌弟、力田、孝廉、廉吏一定要名符其实，郡中公务应依法而行，不可擅自制定法令；如有胆敢用伪诈手段骗取名誉的，一定先行正法，以正明善恶。”天子采纳了张敞的奏言，召集郡国来奏报考绩的长吏、守丞，令侍中敕告了张敞的奏言。黄霸因此十分惭愧。
又一次，乐陵侯史高以外戚身份任侍中一职，名望很高，黄霸推荐史高可任太尉。天子令尚书召黄霸质问说：“太尉一官废除已久，其责由丞相兼管，这是为了息武而兴文。如果国家动乱，边境吃紧，左右大臣都可任领兵的将帅。而宣明教化，顺通隐情，使牢狱中再无冤案，地方上再无盗贼，是你丞相的职责。将相一级的官员，是由我来任命的。侍中乐陵侯史高是我的帷幄近臣，我对他的才能已有深知，何劳你越职举荐他呢？”尚书请丞相陈言，黄霸羞惭满面，连忙摘下帽子谢罪，数Et后才裁定黄霸免罪。从此以后，黄霸再也不敢向君上进奏。然而自从汉朝兴起，讲到治理地方官吏民众的，还是以黄霸为第一。