暨其窈窕幽深，寂漠虚远。事与情乖，理与形反。既耳目之靡端，岂足迹之所践。蕴终古于三季，俟通明于五眼。权近虑以停笔，抑浅知而绝简。(谓此既非人迹所求，更待三明五通，然后可践履耳。故停笔绝简，不复多云，冀夫赏音悟夫此旨也。)
太祖登祚，诛徐羡之等，征为秘书监，再召不起，上使光禄大夫范泰与灵运书敦奖之，乃出就职。使整理秘阁书，补足阙文。以晋氏一代，自始至终，竟无一家之史，令灵运撰《晋书》，粗立条流；书竟不就。寻迁侍中，日夕引见，赏遇甚厚。灵运诗书皆兼独绝，每文竟，手自写之，文帝称为二宝。既自以名辈，才能应参时政，初被召，便以此自许；既至，文帝唯以文义见接，每侍上宴，谈赏而已。王昙首、王华、殷景仁等，名位素不逾之，并见任遇，灵运意不平，多称疾不朝直。穿池植援，种竹树堇，驱课公役，无复期度。出郭游行或一日百六七十里，经旬不归，既无表闻，又不请急。上不欲伤大臣，讽旨令自解。灵运乃上表陈疾，上赐假东归。将行，上书劝伐河北，曰：
自中原丧乱，百有余年，流离寇戎，湮没殊类。先帝聪明神武，哀济群生，将欲荡定赵魏，大同文轨，使久凋反于正化，偏俗归于华风。运谢事乖，理违愿绝，仰德抱悲，恨存生尽。况陵茔未几，凶虏伺隙，预在有识，谁不愤叹。而景平执事，并非其才，且遘纷京师，岂虑托付。遂使孤城穷陷，莫肯极。忠烈囚朔漠，绵河三千，翻为寇有。晚遣镇戍，皆先朝之所开拓，一旦沦亡，此国耻宜雪，被于近事者也。又北境自染逆虏，穷苦备罹，征调赋敛，靡有止已，所求不获，辄致诛殒，身祸家破，阖门比屋，此亦仁者所为伤心者也。
咸云西虏舍末，远师陇外，东虏乘虚，呼可掩袭。西军既反，得据关中，长围咸阳，还路已绝，虽遣救援，停住河东，遂乃远讨大城，欲为首尾。而西寇深山重阻，根本自固，徒弃巢窟，未足相拯。师老于外，国虚于内，时来之会，莫复过此。观兵耀威，实在兹日。若相持未已，或生事变，忽值新起之众，则异于今，苟乖其时，难为经略，虽兵食倍多，则万全无必矣。又历观前代，类以兼弱为本，古今圣德，未之或殊。岂不以天时人事，理数相得，兴亡之度，定期居然。故古人云："既见天殃，又见人灾，乃可以谋。"昔魏氏之强，平定荆、冀，乃乘袁、刘之弱；晋世之盛，拓开吴、蜀，亦因葛、陆之衰。此皆前世成事，著于史策者也。自羌平之后，天下亦谓虏当俱灭，长驱滑台，席卷下城，夺气丧魄，指日就尽。
但长安违律，潼关失守，用缓天诛，假延岁月，日来至今，十有二载，是谓一纪，曩有前言。况五胡代数齐世，虏期余命，尽于来年。自相攻伐，两取其困，卞庄之形，验之今役。仰望圣泽，有若渴饥，注心南云，为日已久。来苏之冀，实归圣明，此而弗乘，后则未兆。即日府藏，诚无兼储，然凡造大事，待国富兵强，不必乘会，于我为易，贵在得时。器械既充，众力粗足，方于前后，乃当有优。常议损益，久证冀州口数，百万有余，田赋之沃，著自《贡》典，先才经创，基趾犹存，澄流引源，桑麻蔽野，强富之实，昭然可知。为国长久之计，孰若一往之费邪！
或惩关西之败，而谓河北难守。二境形势，表里不同，关西杂居，种类不一，昔在前汉，屯军霸上，通火甘泉。况乃远戍之军，值新故交代之际者乎！河北悉是旧户，差无杂人，连岭判阻，三关作隘。若游骑长驱，则沙漠风靡；若严兵守塞，则冀方山固。昔陇西伤破，晁错兴言；匈奴慢侮，贾谊愤叹。方于今日，皆为赊矣。
晋武中主耳，值孙晧虐乱，天祚其德，亦由钜平奉策，荀、贾折谋，故能业崇当年，区宇一统。况今陛下聪明圣哲，天下归仁，文德与武功并震，霜威共素风俱举，协以宰辅贤明，诸王美令，岳牧宣烈，虎臣盈朝，而天或远命，亦何敌不灭，矧伊顽虏，假日而已哉。伏惟深机志务，久定神谟。臣卑贱侧陋，窜景岩穴，实仰希太平之道，倾睹岱宗之封，虽乏相如之笔，庶免史谈之愤，以此谢病京师，万无恨矣。久欲上陈，惧在触置，蒙赐恩假，暂违禁省，消渴十年，常虑朝露，抱此愚志，昧死以闻。
灵运以疾东归，而游娱宴集，以夜续昼，复为御史中丞傅隆所奏，坐以免官。是岁，元嘉五年。灵连既东还，与族弟惠连、东海何长瑜、颍川荀雍、泰山羊璿之，以文章赏会，共为山泽之游，时人谓之四友。惠连幼有才悟，而轻薄不为父方明所知。灵运去永嘉还始宁，时方明为会稽郡。灵运尝自始宁至会稽造方明，过视惠连，大相知赏。时长瑜教惠连读书，亦在郡内，灵运又以为绝伦，谓方明曰："阿连才悟如此，而尊作常儿遇之。何长瑜当今仲宣，而饴以下客之食。尊既不能礼贤，宜以长瑜还灵运。"灵运载之而去。