点雅有人伦鉴，多所甄拔。知吴兴丘迟于幼童，称济阳江淹于寒素，悉如其言。哀乐过人。尝行逢葬者，叹曰："此哭者之怀，岂可思邪。"于是悲恸不能禁。老又娶鲁国孔嗣女，嗣亦隐者。点虽昏，亦不与妻相见，筑别室以处之，人莫谕其意。吴国张融少时免官，而为诗有高言，点答诗曰："昔闻东都日，不在简书前。"虽戏而融久病之。及点后昏，融始为诗赠点曰："惜哉何居士，薄暮遘荒淫。"点亦病之。
永元中，崔慧景围城，人间无薪，点悉伐园树以赡亲党。慧景性好佛义，先慕交点，点不顾之。至是乃逼召点，点裂裙为裤，往赴其军，终日谈说，不及军事。其语默之迹如此。慧景平后，东昏大怒，欲诛之。王莹为之惧，求计于萧畅。畅谓茹法珍曰："点若不诱贼共讲，未必可量，以此言之，乃应得封。"东昏乃止。
梁武帝与点有旧。及践阼，手诏论旧，赐以鹿皮巾等，并召之。点以巾褐引入华林园，帝赠诗酒，恩礼如旧，仍下诏征为侍中。捋帝须曰："乃欲臣老子。"辞疾不起。复下诏详加资给，并出在所，日费所须，太官别给。天监二年卒，诏给第一品材一具，丧事所须，内监经理。点弟胤。
胤，字子季，出继叔父旷，故更字胤叔。年八岁，居忧，毁若成人。及长，轻薄不羁，晚乃折节好学，师事沛国刘瓛，受《易》及《礼记》、《毛诗》。又入钟山定林寺听内典，其业皆通。而纵情诞节，时人未之知也，唯瓛与汝南周颙深器异之。
仕齐为建安太守，政有恩信，人不忍欺。每伏腊放囚还家，依期而反。历黄门侍郎，太子中庶子。尚书令王俭受诏撰新礼，未就而卒。又使特进张绪续成，绪又卒，属在司徒竟陵王子良。子良以让胤，乃置学士二十人佐胤撰录。后以国子祭酒与太子中庶子王莹并为侍中。时胤单作祭酒，疑所服。陆澄博古多该，亦不能据，遂以玄服临试。尔后详议，乃用朱服。祭酒朱服，自此始也。及郁林嗣位，胤为后族，甚见亲待。为中书令，领临海、巴陵王师。胤虽贵显，常怀止足。建武初，已筑室郊外，恒与学徒游处其内。至是遂卖园宅欲入东。未及发，闻谢朏罢吴兴郡不还，胤恐后之，乃拜表解职，不待报辄去。明帝大怒，使御史中丞袁昂奏收胤。寻有诏许之。胤以会稽山多灵异，往游焉，居若邪山云门寺。初，胤二兄求、点并栖遁，求先卒，至是胤又隐，世号点为"大山"，胤为"小山"，亦曰"东山"。兄弟发迹虽异，克终皆隐，世谓何氏三高。
永元中，征为太常、太子詹事，并不就。梁武帝霸朝建，引为军谋祭酒，并与书诏，不至。及帝践阼，诏为特进、光禄大夫，遣领军司马王杲之以手敕谕意，并征谢朏。杲之先至胤所，胤恐朏不出，先示以可起，乃单衣鹿皮巾，执经卷下床，跪受诏。出，就席伏读。胤因谓杲之曰："吾昔于齐朝欲陈三两条事：一者欲正郊丘，二者欲更铸九鼎，三者欲树双阙。世传晋室欲立阙，王丞相指牛头山云，'此天阙也'。是则未明立阙之意。阙者谓之象、魏，悬法于其上，浃日而收之。象者，法也；魏者，当涂而高大貌也。鼎者神器，有国所先。圆丘南郊，旧典不同。南郊祠五帝灵威仰之类，圆丘祠天皇大帝、北极大星是也。往代合之郊丘，先儒之巨失。今梁德告始，不宜遂因前谬。卿宜陈之。"杲之曰："仆之鄙劣，岂敢轻议国典？此当敬俟叔孙生耳。"及杲之从谢朏所还，问胤以出期。胤知朏已应召，答杲之曰："吾年已五十七，月食四斗米不尽，何容复有宦情？"杲之失色不能答。胤反谓曰："卿何不遣传诏还朝拜表，留与我同游邪？"杲之愕然曰："古今不闻此例。"胤曰："《檀弓》两卷，皆言物始。自卿而始，何必有例？"胤、朏俱前代高士，胤处名誉尤迈矣。杲之还，以胤意奏闻，有敕给白衣尚书禄。胤固辞。又敕山阴库钱月给五万，又不受。乃敕何子郎、孔寿等六人于东山受学。太守衡阳王元简深加礼敬，月中常命驾式闾，谈论终日。胤以若邪处势迫隘，不容学徒，乃迁秦望山。山有飞泉，乃起学舍，即林成援，因岩为堵。别为小阁室，寝处其中，躬自启闭，僮仆无得至者。山侧营田二顷，讲隙从生徒游之。胤初迁将筑室，忽见二人著玄冠，容貌甚伟，问胤曰："君欲居此邪？"乃指一处云："此中殊吉。"忽不复见。胤依言而卜焉。寻而山发洪水，树石皆倒拔，唯胤所居室岿然独存。元简乃命记室参军钟嵘作《瑞室颂》，刻石以旌之。及元简去郡，入山与胤别。胤送至都赐埭，去郡三里，因曰："仆自弃人事，交游路断，自非降贵山薮，岂容复望城邑？此埭之游，于今绝矣。"执手涕零。