徐羡之，字宗文，东海郯人也。祖宁，尚书吏部郎，江州刺史，未拜卒。父祚之，上虞令。羡之少为王雅太子少傅主簿，刘牢之镇北功曹，尚书祠部郎，不拜，桓修抚军中兵曹参军。与高祖同府，深相亲结。义旗建，高祖版为镇军参军，尚书库部郎，领军司马。与谢混共事，混甚知之。补琅邪王大司马参军，司徒左西属，徐州别驾从事史，太尉咨议参军。义熙十一年，除鹰扬将军、琅邪内史，仍为大司马从事中郎，将军如故。高祖北伐，转太尉左司马，掌留任，以副贰刘穆之。
初，高祖议欲北伐，朝士多谏，唯羡之默然。或问何独不言，羡之曰："吾位至二品，官为二千石，志愿久充。今二方已平，拓地万里，唯有小羌未定，而公寝食不忘。意量乖殊，何可轻豫。"刘穆之卒，高祖命以羡之为吏部尚书、建威将军、丹阳尹，总知留任，甲仗二十人出入。转尚书仆射，将军、尹如故。
十四年，大司马府军人朱兴妻周坐息男道扶年三岁，先得痫病，周因其病发，掘地生埋之，为道扶姑女所告，正周弃市刑。羡之议曰："自然之爱，虎狼犹仁。周之凶忍，宜加显戮。臣以为法律之外，故尚弘物之理。母之即刑，由子明法，为子之道，焉有自容之地。虽伏法者当罪，而在宥者靡容。愚谓可特申之遐裔。"从之。
高祖践阼，进号镇军将军，加散骑常侍。上初即位，思佐命之功，诏曰："散骑常侍、尚书仆射、镇军将军、丹阳尹徐羡之，监江州豫州之西阳新蔡诸军事、抚军将军、江州刺史华容侯王弘，散骑常侍、护军将军作唐男檀道济，中书令、领太子詹事傅亮，侍中、中领军谢晦，前左将军、江州刺史宜阳侯檀韶，使持节、雍梁南北秦四州荆州之河北诸军事、后将军、雍州刺史关中侯赵伦之，使持节、督北徐兖青三州诸军事、征虏将军、北徐州刺史南城男刘怀慎，散骑常侍、领太子左卫率新淦侯王仲德，前冠军将军、北青州刺史安南男向弥，左卫将军滠阳男刘粹，使持节、南蛮校尉佷山子到彦之，西中郎司马南郡宜阳侯张邵，参西中郎将军事、建威将军、河东太守资中侯沈林子等，或忠规远谋，扶赞洪业；或肆勤树绩，弘济艰难。经始图终，勋烈惟茂，并宜与国同休，飨兹大赉。羡之可封南昌县公，弘可华容县公，道济可改封永修县公，亮可建城县公，晦可武昌县公，食邑各二千户；韶可更增邑二千五百户，仲德可增邑二千二百户；怀慎、彦之各进爵为侯，粹改封建安县侯，并增邑为千户；伦之可封霄城县侯，食邑千户；邵可封临沮县伯，林子可封汉寿县伯，食邑六百户。开国之制，率遵旧章。"
羡之迁尚书令、扬州刺史，加散骑常侍。进位司空、录尚书事，常侍、刺史如故。羡之起布衣，又无术学，直以志力局度，一旦居廊庙，朝野推服，咸谓有宰臣之望。沈密寡言，不以忧喜见色。颇工弈棋，观戏常若未解，当世倍以此推之。傅亮、蔡廓常言："徐公晓万事，安异同。"
高祖不豫，加班剑三十人。宫车晏驾，与中书令傅亮、领军将军谢晦、镇北将军檀道济同被顾命。少帝诏曰："平理狱讼，政道所先。朕哀荒在疚，未堪亲览。司空、尚书令可率众官月一决狱。"
帝后失德，羡之等将谋废立，而庐陵王义真轻动多过，不任四海，乃先废义真，然后废帝。时谢晦为领军，以府舍内屋败应治，悉移家人出宅，聚将士于府内。镇北将军、南兖州刺史檀道济先朝旧将，威服殿省，且有兵众，召使入朝，告之以谋。事将发，道济入宿领军府。中书舍人邢安泰、潘盛为内应，其日守关。道济领兵居前，羡之等继其后，由东掖门云龙门入，宿卫先受处分，莫有动者。先是帝于华林园为列肆，亲自酤卖，又开渎聚土，以像破岗，率左右唱呼引船为乐。是夕，寝于龙舟，在天渊池。兵士进杀二人，又伤帝指。扶帝出东阁，收玺绶。群臣拜辞，卫送故太**，迁于吴郡。侍中程道惠劝立第五皇弟义恭，羡之不许。遣使杀义真于新安，杀帝于吴县。时为帝筑宫未成，权居金昌亭，帝突走出昌门，追者以门关击之倒地，然后加害。
太祖即阼，进羡之司徒，余如故，改封南平郡公，食邑四千户，固让加封。有司奏车驾依旧临华林园听讼，诏曰："政刑多所未悉，可如先二公推讯。"