李泌从小就聪敏，书只看一遍就必定能背下来。他六七岁就学习写文章。开元十六年，唐玄宗在御楼上大设酒宴，夜里在楼下放了一个高高的座位，叫来三教九流登台讲演论辩。
李泌姑母的儿子员俶，那年九岁，偷偷求母亲准备了儒生的衣服，趁夜登上高座，词辩非常锋利，演讲的人都理屈词穷。唐玄宗认为他不一般，把他召入楼中，问清他的姓名之后便说：“原来是半千岁的孙子，应该如此。”于是唐玄宗就问宫外还有没有象他这样的奇童子，他回答说：“我舅舅的儿子李顺，今年七岁，能赋诗，非常聪明。”唐玄宗问清李顺家的住处，派宦官偷偷等候在门外，把他抱进宫来，警告说不要让他家知道。
唐玄宗正在和张说下围棋。宦官抱着李泌来到，员俶和刘宴都在皇帝身边。等到唐玄宗见到李泌，对张说说：“后来这个小孩与前边那个绝对不一样，从他的仪表相貌看，可真是国家的栋梁之材啊！”张说说：“确实是这样。”于是唐玄宗就让张说试一下他作诗的程度如何。张说让他咏方、圆、动、静。李泌说：“请告诉我各是什么样子。”张说说：“方就是棋盘，圆就象棋子，动就象棋活了，静就象棋死了。”张说因为李泌年幼，就教他说：“只能按意思虚作，不能再实说出‘棋’字来。”李泌说：“随意作就太容易了。”唐玄宗笑道：“这孩子的聪明才智大于他的实际年龄。”李泌就说道：“方就象行义，圆就象用智，动就象逞才，静就象遂意。”张说于是向唐玄宗祝贺说：“这是太平盛世的祥瑞之事啊！”唐玄宗非常高兴，把李泌抱在怀里，摸着他的头，让人拿果品给他吃。于是就把他送到忠王院，两个月以后才让他回家，还送给他衣物和几十匹彩丝织品，并且告诉他家说：“孩子太小，怕有害于孩子，所以没封他官。应该好好看待他，这是国家的栋梁之材。”
从此，张说把李泌请到自己家里，让儿子张均、张和他在一起，就象师友那样，孩子们相处得非常亲近。张九龄、贺知章、张庭珪、韦虚心等人，一见了李泌也都非常喜欢器重他。贺知章曾经说：“这小子目如秋水，将来一定能做卿相。”张说说：“昨天皇上想封他官，我说不行。这是爱护他，等他成器罢了。”
当初他是儿童的时候，身体很轻，能在屏风上站立，能在薰笼上行走。一个有道术的人说：“这孩子十五岁一定会大白天升天做神仙。”父母保护他、喜爱他。亲族喜欢他，听说这样都象对他有很大的危险，互相约定，如果有一天空中真出现奇异的香味和音乐声，李泌的近亲，一定要迎上去大骂一顿。
到了李泌十五岁那年的八月十五日，果然有笙歌响在室内，时时有彩云挂在院子里的树上。李泌的亲朋，就一齐捣蒜泥，捣了几大桶，等到异音和奇香来到，暗中让人登上屋顶，用大勺子扬洒蒜泥泼向那异音和奇香的来处，音乐和香味就散去。从此就不再来了。
二年以后，李泌赋《长歌行》一首，说道：“
天覆吾，地载吾，
天地生吾有意无？
不然绝粒升天衢，
不然鸣柯游帝都。
焉能不贵复不去，
空作昂藏一丈夫。
一丈夫兮一丈夫，
平生志气是良图。
请君看取百年事，
业就扁舟泛五湖。”
诗写成之后，传抄的人没有不称赏的。只有张九龄见了之后警告他说：“过早有了好名声，一定会带来损失，你应该自己注意隐藏才能，这才能尽善尽美。把本领隐藏起来，是古人很重视的，何况你还是个小孩子呢！你只应该作诗赞赏风景，咏叹古贤，不要自己表现自己才好。”李泌感动得流泪表示感谢。后来再写的文章，不再言及自己。
张九龄尤其喜欢李泌有心计，说他前途不可估量。他还曾经用忠直的话语规劝过张九龄。张九龄很感激他，于是就叫他是“小友”。张九龄出任荆州的时候，把他请到郡里住了一年多。
他在东都学习的时候，游历了衡山和嵩山，于是遇见神仙桓真人、羡门子、安期先生降临。羽毛制成的车帘和旌旗，流动的云朵和神奇的光彩，照耀着山谷，天将亮的时候才散去。神仙们还教给他通过服用药物而长生成仙的道术，并且警告他说：“太上有命令，因为国家有危险，朝廷多难，你应该以文武之道辅佐皇帝，让你的功德遍及天下民众，然后就可以得道成仙了。”
从此，他经常只呼吸不吃粮食，修习黄光谷神的旨要。等到他回到京城，宁王把他迎接到王府，玉真公主叫他弟弟，对他格外敬重。他平常赋的诗，一定会被王公们配上乐章传播。父亲死了，他为父亲守孝，不吃食物骨瘦如柴。他守孝期满就脱了孝服，又去嵩山、华山、终南山游历，根本不顾名声和利禄。