山涛，字巨源，河内怀人也。父曜，宛句令。涛早孤，居贫，少有器量，介然不群。性好《庄》《老》，每隐身自晦。与嵇康、吕安善，后遇阮籍，便为竹林之交，着忘言之契。康后坐事，临诛，谓子绍曰：“巨源在，汝不孤矣。”
涛年四十，始为郡主簿、功曹、上计掾。举孝廉，州辟部河南从事。与石鉴共宿，涛夜起蹴鉴曰：“今为何等时而眠邪！知太傅卧何意？”鉴曰：“宰相三不朝，与尺一令归第，卿何虑也！”涛曰：“咄！石生无事马蹄间邪！”投传而去。未二年，果有曹爽之事，遂隐身不交世务。
与宣穆后有中表亲，是以见景帝。帝曰：“吕望欲仕邪？”命司隶举秀才，除郎中。转骠骑将军王昶从事中郎。久之，拜赵国相，迁尚书吏部郎。文帝与涛书曰：“足下在事清明，雅操迈时。念多所乏，今致钱二十万、谷二百斛。”魏帝尝赐景帝春服，帝以赐涛。又以母老，并赐藜杖一枚。
晚与尚书和逌交，又与钟会、裴秀并申款昵。以二人居势争权，涛平心处中，各得其所，而俱无恨焉。迁大将军从事中郎。钟会作乱于蜀，而文帝将西征。时魏氏诸王公并在邺，帝谓涛曰：“西偏吾自了之，后事深以委卿。”以本官行军司马，给亲兵五百人，镇邺。
咸熙初，封新沓子。转相国左长史，典统别营。时帝以涛乡闾宿望，命太子拜之。帝以齐王攸继景帝后，素又重攸，尝问裴秀曰：“大将军开建未遂，吾但承奉后事耳。故立攸，将归功于兄，何如？”秀以为不可，又以问涛。涛对曰：“废长立少，违礼不祥。国之安危，恆必由之。”太子位于是乃定。太子亲拜谢涛。及武帝受禅，以涛守大鸿胪，护送陈留王诣邺。泰始初，加奉车都尉，进爵新沓伯。
及羊祜执政，时人欲危裴秀，涛正色保持之。由是失权臣意，出为冀州刺史，加宁远将军。冀州俗薄，无相推毂。涛甄拔隐屈，搜访贤才，旌命三十余人，皆显名当时。人怀慕尚，风俗颇革。转北中郎将，督邺城守事。入为侍中，迁尚书。以母老辞职，诏曰：“君虽乃心在于色养，然职有上下，旦夕不废医药，且当割情，以隆在公。”涛心求退，表疏数十上，久乃见听。除议郎，帝以涛清俭无以供养，特给日契，加赐床帐茵褥。礼秩崇重，时莫为比。
后除太常卿，以疾不就。会遭母丧，归乡里。涛年逾耳顺，居丧过礼，负土成坟，手植松柏。诏曰：“吾所共致化者，官人之职是也。方今风欲陵迟，人心进动，宜崇明好恶，镇以退让。山太常虽尚居谅闇，情在难夺，方今务殷，何得遂其志邪！其以涛为吏部尚书。”涛辞以丧病，章表恳切。会元皇后崩，遂扶兴还洛。逼迫诏命，自力就职。前后选举，周遍内外，而并得其才。
咸宁初，转太子少傅，加散骑常侍；除尚书仆射，加侍中，领吏部。固辞以老疾，上表陈情。章表数十上，久不摄职，为左丞白褒所奏。帝曰：“涛以病自闻，但不听之耳。使涛坐执铨衡则可，何必上下邪！不得有所问。”涛不自安，表谢曰：“古之王道，正直而已。陛下不可以一老臣为加曲私，臣亦何必屡陈日月。乞如所表，以章典刑。”帝再手诏曰：“白褒奏君甚妄，所以不即推，直不喜凶赫耳。君之明度，岂当介意邪！便当摄职，令断章表也。”涛志必欲退，因发从弟妇丧，辄还外舍。诏曰：“山仆射近日暂出，遂以微苦未还，岂吾侧席之意。其遣丞掾奉诏谕旨，若体力故未平康者，便以舆车舆还寺舍。”涛辞不获已，乃起视事。
涛再居选职十有余年，每一官缺，辄启拟数人，诏旨有所向，然后显奏，随帝意所欲为先。故帝之所用，或非举首，众情不察，以涛轻重任意。或谮之于帝，故帝手诏戒涛曰：“夫用人惟才，不遗疏远单贱，天下便化矣。”而涛行之自若，一年之后众情乃寝。涛所奏甄拔人物，各为题目，时称《山公启事》。
涛中立于朝，晚值后党专权，不欲任杨氏，多有讽谏，帝虽悟而不能改。后以年衰疾笃，上疏告退曰：“臣年垂八十，救命旦夕，若有毫末之益，岂遗力于圣时，迫以老耄，不复任事。今四海休息，天下思化，从而静之，百姓自正。但当崇风尚教以敦之耳，陛下亦复何事。臣耳目聋瞑，不能自励。君臣父子，其间无文，是以直陈愚情，乞听所请。”乃免冠徒跣，上还印绶。诏曰：“天下事广，加吴土初平，凡百草创，当共尽意化之。君不深识往心而以小疾求退，岂所望于君邪！朕犹侧席，未得垂拱，君亦何得高尚其事乎！当崇至公，勿复为虚饰之烦。”涛苦表请退，诏又不许。尚书令卫瓘奏：“涛以微苦，久不视职。手诏频烦，犹未顺旨。参议以为无专节之尚，违在公之义。若实沈笃，亦不宜居位。可免涛官。”中诏瓘曰：“涛以德素为朝之望，而常深退让，至于恳切。故比有诏，欲必夺其志，以匡辅不逮。主者既不思明诏旨，而反深加诋案。亏崇贤之风，以重吾不德，何以示远近邪！”涛不得已，又起视事。
太康初，迁右仆射，加光禄大夫，侍中、掌选如故。涛以老疾固辞，手诏曰：“君以道德为世模表，况自先帝识君远意。吾将倚君以穆风俗，何乃欲舍远朝政，独高其志耶！吾之至怀故不足以喻乎，何来言至恳切也。且当以时自力，深副至望。君不降志，朕不安席。”涛又上表固让，不许。
吴平之后，帝诏天下罢军役，示海内大安，州郡悉去兵，大郡置武吏百人，小郡五十人。帝尝讲武于宣武场，涛时有疾，诏乘步辇从。因与卢钦论用兵之本，以为不宜去州郡武备，其论甚精。于时咸以涛不学孙、吴，而暗与之合。帝称之曰：“天下名言也。”而不能用。及永宁之后，屡有变难，寇贼猋起，郡国皆以无备不能制，天下遂以大乱，如涛言焉。
后拜司徒，涛复固让。”诏曰：“郡年耆德茂，朝之硕老，是以授君台辅之位。而远崇克让，至于反覆，良用于邑。君当终始朝政，翼辅朕躬。”涛又表曰：“臣事天朝三十余年，卒无毫厘以崇大化。陛下私臣无已，猥授三司。臣闻德薄位高，力少任重，上有折足之凶，下有庙门之咎，愿陛下垂累世之恩，乞臣骸骨。诏曰：“君翼赞朝政，保乂皇家，匡佐之勋，朕所倚赖。司徒之职，实掌帮教，故用敬授，以答群望。岂宜冲让以自抑损邪！”已敕断章表，使者乃卧加章绶。涛曰：“垂没之人，岂可污官府乎！”舆疾归家。以太康四年薨，时年七十九，诏赐东园秘器、朝服一具、衣一袭、钱五十万、布百匹，以供丧事，策赠司徒，蜜印紫绶，侍中貂蝉，新沓伯蜜印青硃绶，祭以太牢，谥曰康。将葬，赐钱四十万、布百匹。左长史范晷等上言：“涛旧第屋十间，子孙不相容。”帝为之立室。