王玄谟，字彦德，太原祁人也。六世祖宏，河东太守，绵竹侯，以从叔司徒允之难，弃官北居新兴，仍为新兴、雁门太守，其自叙云尔。祖牢，仕慕容氏为上谷太守，陷慕容德，居青州。父秀，早卒。
玄谟幼而不群，世父蕤有知人鉴，常笑曰："此儿气概高亮，有太尉彦云之风。"武帝临徐州，辟为从事史，与语异之。少帝末，谢晦为荆州，请为南蛮行参军、武昌太守。晦败，以非大帅见原。元嘉中，补长沙王义欣镇军中兵将军，领汝阴太守。时虏攻陷滑台，执朱修之以归。玄谟上疏曰："王途始开，随复沦塞，非惟天时，抑亦人事。虎牢、滑台，岂惟将之不良，抑亦本之不固。本之不固，皆由民惮远役。臣请以西阳之鲁阳，襄阳之南乡，发甲卒，分为两道，直趣淆、渑，征士无远徭之思，吏士有屡休之歌。若欲以东国之众，经营牢、洛，道途既远，独克实难。"玄谟每陈北侵之策，上谓殷景仁曰："闻王玄谟陈说，使人有封狼居意。"后为兴安侯义宾辅国司马、彭城太守。义宾薨，玄谟上表，以彭城要兼水陆，请以皇子抚临州事，乃以孝武出镇。
及大举北征，以玄谟为宁朔将军，前锋入河，受辅国将军萧斌节度。玄谟向确磝，戍主奔走，遂围滑台，积旬不克。虏主拓跋焘率大众号百万，鞞鼓之声，震动天地。玄谟军众亦盛，器械甚精，而玄谟专依所见，多行杀戮。初围城，城内多茅屋，众求以火箭烧之，玄谟恐损亡军实，不从。城中即撤坏之，空地以为窟室。及魏救将至，众请发车为营，又不从。将士多离怨，又营货利，一匹布责人八百梨，以此倍失人心。及拓跋焘军至，乃奔退，麾下散亡略尽。萧斌将斩之，沈庆之固谏曰："佛狸威震天下，控弦百万，岂玄谟所能当。且杀战将以自弱，非良计也。"斌乃止。初，玄谟始将见杀，梦人告曰："诵《观音经》千遍，则免。"既觉，诵之得千遍，明日将刑，诵之不辍，忽传呼停刑。遣代守确磝，江夏王义恭为征讨都督，以为确磝不可守，召令还，为魏军所追，大破之，流矢中臂。二十八年正月，还至历城，义恭与玄谟书曰："闻因败为成，臂上金疮，得非金印之征也。"
元凶弑立，玄谟为益州刺史。孝武伐逆，玄谟遣济南太守垣护之将兵赴义。事平，除徐州刺史，加都督。及南郡王义宣与江州刺史臧质反，朝庭假玄谟辅国将军，拜豫州刺史，与柳元景南讨。军屯梁山，夹岸筑偃月垒，水陆待之。义宣遣刘谌之就臧质，陈军城南，玄谟留老弱守城，悉精兵接战，贼遂大溃。加都督、前将军，封曲江县侯。中军司马刘冲之白孝武，言："玄谟在梁山，与义宣通谋。"上意不能明，使有司奏玄谟多取宝货，虚张战簿，与徐州刺史垣护之并免官。
寻复为豫州刺史。淮上亡命司马黑石推立夏侯方进为主，改姓李名弘，以惑众，玄谟讨斩之。迁宁蛮校尉、雍州刺史，加都督。雍土多侨寓，玄谟请土断流民，当时百姓不愿属籍，罢之。其年，玄谟又令九品以上租，使贫富相通，境内莫不嗟怨。民间讹言玄谟欲反，时柳元景当权，元景弟僧景为新城太守，以元景之势，制令南阳、顺阳、上庸、新城诸郡并发兵讨玄谟。玄谟令内外晏然，以解众惑，驰启孝武，具陈本末。帝知其虚，驰遣主书吴喜公抚慰之，又答曰："梁山风尘，初不介意，君臣之际，过足相保，聊复为笑，伸卿眉头。"玄谟性严，未尝妄笑，时人言玄谟眉头未曾伸，故帝以此戏之。后为金紫光禄大夫，领太常。及建明堂，以本官领起部尚书，又领北选。
孝武狎侮群臣，随其状貌，各有比类，多须者谓之羊。颜师伯缺齿，号之曰齴。刘秀之俭吝，呼为老慳。黄门侍郎宗灵秀体肥，拜起不便，每至集会，多所赐与，欲其瞻谢倾踣，以为欢笑。又刻木作灵秀父光禄勋叔献像，送其家厅事。柳元景、垣护之并北人，而玄谟独受"老伧"之目。凡所称谓，四方书疏亦如之。尝为玄谟作四时诗曰："堇荼供春膳，粟浆充夏飧。瓟酱调秋菜，白醝解冬寒。"又宠一昆仑奴子，名曰主。常在左右，令以杖击群臣，自柳元景以下，皆罹其毒。
玄谟寻迁平北将军、徐州刺史，加都督。时北土饥馑，乃散私谷十万斛、牛千头以振之。转领军将军。孝武崩，与柳元景等俱受顾命，以外监事委玄谟。时朝政多门，玄谟以严直不容，徙青、冀二州刺史，加都督。少帝既诛颜师伯、柳元景等，狂悖益甚，以领军征玄谟。子侄咸劝称疾，玄谟曰："吾受先帝厚恩，岂可畏祸苟免。"遂行。及至，屡表谏诤，又流涕请缓刑去杀，以安元元。少帝大怒。