羊玄保，太山南城人也。祖楷，尚书都官郎。父绥，中书侍郎。玄保起家楚台太常博士，遭母忧，服阕，右将军何无忌、前将军诸葛长民俱板为参军，并不就。除临安令。刘穆之举为高祖镇军参军，库部郎，永世令。复为高祖太尉参军，转主簿，丹阳丞。少帝景平二年，入为尚书右丞。转左丞，司徒右长史。府公王弘甚知重之，谓左长史庾登之、吏部尚书王准之曰："卿二贤明美朗识，会悟多通，然弘懿之望，故当共推羊也。"顷之，入为黄门侍郎。
善弈棋，棋品第三，太祖与睹郡戏，胜，以补宣城太守。先是，刘式之为宣城，立吏民亡叛制，一人不禽，符伍里吏送州作部，若获者赏位二阶。玄保以为非宜，陈之曰："臣伏寻亡叛之由，皆出于穷逼，未有足以推存而乐为此者也。今立殊制，于事为苦。臣闻苦节不可贞，惧致流弊。昔龚遂譬民于乱绳，缓之然后可理；黄霸以宽和为用，不以严刻为先。臣愚以谓单身逃役，便为尽户。今一人不测，坐者甚多，既惮重负，各为身计，牵挽逃窜，必致繁滋。又能禽获叛身，类非谨惜，既无堪能，坐陵劳吏，名器虚假，所妨实多，将阶级不足供赏，服勤无以自劝。又寻此制，施一邦而已，若其是邪，则应与天下为一；若其非邪，亦不宜独行一郡。民离忧患，其弊将甚。臣忝守所职，惧难遵用，致率管穴，冒以陈闻。"由此此制得停。
玄保在郡一年，为廷尉。数月，迁尚书吏部郎，御史中丞，衡阳王义季右军长史、南东海太守，加辅国将军。入为都官尚书、左卫将军，加给事中，丹阳尹，会稽太守。又徙吴郡太守，加秩中二千石。太祖以玄保廉素寡欲，故频授名郡。为政虽无干绩，而去后常见思。不营财利，处家俭薄。太祖尝曰："人仕宦非唯须才，然亦须运命；每有好官缺，我未尝不先忆羊玄保。"
元凶弑立，为吏部尚书，领国子祭酒，寻加光禄大夫。及世祖入讨，朝野多南奔，劭集群僚，横刀怒曰："卿等便可去矣！"众战惧莫敢言，玄保容色不异，徐曰："臣以死奉朝。"劭乃解。世祖即位，以为散骑常侍，领崇宪卫尉。寻迁金紫光禄大夫。又以谨敬见知，赐赉甚厚。大明初，进位光禄大夫。五年，迁散骑常侍，特进。玄保自少至老，谨于祭奠，四时珍新，未得祠荐者，口不妄尝。八年，卒，时年九十四。谥曰定子。
子戎，有才气，而轻薄少行检，玄保尝云："此儿必亡我家。"官至通直郎。与王僧达谤议时政，赐死。死后世祖引见玄保，玄保谢曰："臣无日磾之明，以此上负。"上美其言，戎二弟，太祖并赐名，曰咸，曰粲。谓玄保曰："欲令卿二子有林下正始余风。"
玄保既善棋，而何尚之亦雅好棋。吴郡褚胤，年七岁，入高品。及长，冠绝当时。胤父荣期与臧质同逆，胤应从诛，何尚之请曰："胤弈棋之妙，超古冠今。魏犨犯令，以才获免。父戮子宥，其例甚多。特乞与其微命，使异术不绝。"不许。时人痛惜之。
玄保兄子希，字泰闻，少有才气。大明初，为尚书左丞。时扬州刺史西阳王子尚上言："山湖之禁，虽有旧科，民俗相因，替而不奉，熂山封水，保为家利。自顷以来，颓弛日甚，富强者兼岭而占，贫弱者薪苏无托，至渔采之地，亦又如兹。斯实害治之深弊，为政所宜去绝，损益旧条，更申恒制。"有司检壬辰诏书："占山护泽，强盗律论，赃一丈以上，皆弃市。"希以"壬辰之制，其禁严刻，事既难遵，理与时弛。而占山封水，渐染复滋，更相因仍，便成先业，一朝顿去，易致嗟怨。今更刊革，立制五条。凡是山泽，先常熂爈种养竹木杂果为林，及陂湖江海鱼梁鳅鮆场，常加功修作者，听不追夺。官品第一、第二，听占山三顷；第三、第四品，二顷五十亩；第五、第六品，二顷；第七、第八品，一顷五十亩；第九品及百姓，一顷。皆依定格，条上赀簿。若先已占山，不得更占；先占阙少，依限占足。若非前条旧业，一不得禁。有犯者，水土一尺以上，并计赃，依常盗律论。停除咸康二年壬辰之科。"从之。
益州刺史刘瑀，先为右卫将军，与府司马何季穆共事不平。季穆为尚书令建平王宏所亲待，屡毁瑀于宏。会瑀出为益州，夺士人妻为妾，宏使羊希弹之；瑀坐免官，瑀恨希切齿。有门生谢元伯往来希间，瑀令访讯被免之由。希曰："此奏非我意。"瑀即日到宏门奉笺陈谢，云闻之羊希。希坐漏泄免官。