《山居笔记》一书的写作，始于一九九二年，成于一九九四年，历时两年有余。为了写作此书，我辞去了学院的行政职务，不再上班，因此这两年多的时间十分纯粹，几乎是全身心地投入。投入那么多时间纔写出十一篇文章，效率未免太低，但我的写作是与考察联在一起的，很多写到的地方不得不一去再去，快不起来。记得有一次为了核对海南岛某古迹一副对联上的两个字，几度函询都得不到准确回答，只得再去了一次。这种做法如果以经济得失来核算简直荒诞不经，但文章的事情另有得失，即所谓“得失寸心知”。
在总体计划上，这本书是我以直接感悟方式探访中华文明的第二阶段记述。第一阶段的记述是《文化苦旅》，那本书中的我，背负着生命的困惑，去寻找一个个文化遗迹和文化现场，然后把自己的惊讶和感动告诉读者。但是等到走完写完，发觉还有不少超越具体遗迹的整体性难题需要继续探访，例如——
对于政治功业和文化情结的互相觊觎和生死与共；
对于文化灵魂的流放、毁灭和复苏；
对于商业文明与中华文化的狭路相逢和擦肩而过；
对于千年科举留给社会历史的功绩和留给群体人格的祸害；
对于稀有人格在中华文化中断绝的必然和祭奠的必要；
对于君子和小人这条重要界线的无处不在和难于划分；
……
这些问题如此之大，当然不可能轻易找到答案，我能做的，只是招呼读者用当代生命去感触和体验。这便构成了《山居笔记》的基本内容。
稍稍年长的读者应该记得，这些问题在十年前公开谈论并不方便。当时，哪怕是给清朝统治者以更多的正面评价，把民间金融业全面破碎的主要原因归之于太平天国运动，或者在不设定“唯心主义”的批判前提下充分肯定朱熹，在维系社会管理和文明传承的意义上称赞科举制度，都会引起不少左派批判家的警惕，更不要说打破时限大谈“流放”、“小人”、“围啄”这些很容易让人产生现代联想的命题了。为此，我要再一次感谢当时敢于发表这些文章的《收获》杂志。至于我本人的勇气，则来自十年浩劫间对民族苦难的切身感受和反复思考。这种思考，开始于浩劫初期可怜父辈的牢狱骨灰，延续于浩劫中期军垦农场的漫漫苦役，深化于浩劫后期故乡山屋的寂寞岁月，又回味于浩劫过后某些黑影的翻云覆雨。幸好一九七八年严冬在北京召开的一次会议改变了中国，我也随之获得了生存的尊严。既然一切都来自于苦难，我问自己手中的笔：你还有什么好害怕的呢？
我只担心灾难中的思考因过于愤怒而失之于偏激，便想从考察和阅读中获得更广阔的时空印证。正是在这个过程中，我注意到了海外汉学界。那么多高水平的专家学者早早地流落到海外各有原因，他们毕竟避过了接二连三的政治运动，有充裕的时间投入研究，而研究的方法又引入了国际学术标准，在科学性、宏观性上远超干嘉学派的考据水平。但在十年前，国内学术界要了解他们的研究成果十分艰难，甚至直到今天，虽有一些专著流传到大陆，仍然不易见到那些以散篇形式发表于专业杂志间的各项具体研究。海内外研究成果积累得比较完整的是香港，于是我总是利用前去讲学的机会在那里贪婪补课。记得前不久一位曾经多次撰文批评《山居笔记》“硬伤”的先生直接给我来信，说又发现我的一处论述在国内某大学编印的资料上找不到根据。我回信感谢他来信探讨之诚，并说明那项资料早已被海外学术界严密论证，详细数据存香港中文大学图书馆库房，答应下次去时复印一份送给他。香港中文大学在山上，我当时为了钻研数据栖居一处设备简单的集体宿舍叫曙光楼，因此有了“山居”的说法。
现在回想起来，写作这本书的最大困难，不在立论之勇，不在跋涉之苦，也不在考证之烦，而在于要把深涩嶙峋的思考萃炼得平易可感，把玄奥细微的感触释放给更大的人群。这等于用手掌碾碎石块，用体温焐化坚冰，字字句句都要耗费难言的艰辛，而艰辛的结果却是不能让人感受到艰辛。
写完这本书后，我又写了一本人生随笔，然后进入文化考察的又一个新阶段，即驱车数万公里逐一拜谒人类历史上一切发生过重大影响的文明。一路历尽危难，却从未退缩，因为我在陌生的异国荒原上找到了返现中华文明的方位，时时校正着国内考察时的各种感悟。我把《山居笔记》的续篇，写到了开罗的死城边、耶路撒冷的小巷口、海湾和南亚沙尘覆盖的大炮下。在那里纔明白，即便走遍中国也很难真正了解中国，因此经常与同行的伙伴们感叹：“不识庐山真面目，只缘身在此山中。”
