在追随朱元璋以前，刘伯温一直过着隐居或半隐居式的生活，他一边教书育人，一边研习兵法、天文、文学等。
这年，朱元璋手下一个叫胡大海的人听说处州附近有几个隐士很有才能，便命人去请，这其中就包括后来帮朱元璋一统江山的刘伯温。其他几个人一请就到，唯独刘伯温不肯来。胡大海又派人去请，刘伯温还是不到。于是胡大海向朱元璋报告了此事，朱元璋听后很感兴趣，虽然他做不到像刘备那样三顾茅庐，但他对人才同样求贤若渴，他立即派了孙炎再去请，还带了许多礼品。谁知这个刘伯温不知好歹，硬是不给朱元璋面子，为表决心，他还回赠了一把宝剑。孙炎可没有胡大海的耐心，他给刘伯温带了一句话：“剑当献天子，斩不顺命者。”刘伯温是个聪明人，他知道，如若自己再端着，恐怕只能做刀下鬼了。
要说刘伯温没有野心，这肯定是假话，要不然，他也不会多次参加元朝的科举考试，也不会尽职尽责地当了五年的县丞。其实，他蛰居乡野，一方面是为了观察形势的发展，另一方面也在等待机会。当时，江浙的义军有三大阵营，分别为张士诚、陈友谅、朱元璋。其中，陈友谅的势力最大，朱元璋的势力最弱，在形势不明朗的情况下，最好的办法就是等待。因此，他不想这么快就做出选择。
投靠朱元璋后，刘伯温一直很少发言，这其中主要有几个原因，一则，自己初来乍到，人微言轻。二则，尚未取得朱元璋的信任，锋芒太露只会引火烧身。三则，没有大的战事，不足以展现自己的才能。刘伯温这样做是对的，朱元璋手下的谋士没人将他放在眼里，自然也没人排挤他，陷害他。当然，刘伯温的隐忍不是懦弱，而是为显露做准备，他追求的是“不鸣则已，一鸣惊人”。
机会终于来了，至正二十年，陈友谅率精锐大举来犯，以朱元璋的实力根本无法与之抗衡。应天（南京）城内一片慌乱，朱元璋急诏手下谋士，商议破敌之策。平日里那些自诩才智过人、神机妙算的谋士，此刻都没了主意，他们有的主张投降，有的主张放弃应天，但就是没人主张御敌。面对陈友谅强大的军事实力，不要说那些谋士，就连朱元璋本人也十分忌惮。
就在这时，刘伯温站了出来，他大声地斥责道：“那些主张投降或逃跑的人应该抓来杀掉，敌人未到，你们就被吓成这个样子，也太丢主公的脸面了。”大家都把目光投向了刘伯温，心想，难道这人不怕死吗？刘伯温没有理会他们，又接着说道：“陈友谅虽然强大，但他骄横，且不擅陆战，只要诱敌深入，再以伏兵击之，陈必败。”这是一个大冒险，谋士输不起，朱元璋更输不起，何去何从，实在难以定夺。刘伯温见大家都不吱声，只好叹息着说：“如果失去应天，我们又能去哪儿呢？要走你们走，我誓与应天共存亡。”
都说患难之时见真情，在这生死存亡之际，刘伯温能够勇敢地站出来，并做出这样一番表态，怎能不让朱元璋感动呢？更何况，刘伯温的话说到了朱元璋的心坎上，他从一个放牛娃、一个要饭的和尚奋斗到今天不容易，逃，就意味着失去现有的一切，与其这样，不如放手一搏。刘伯温给了朱元璋勇气，也给了朱元璋信心。后来，朱元璋依照刘伯温之计，果然大破陈友谅，从此，刘伯温成了朱元璋的左膀右臂，备受尊敬和恩宠。