张翠山叫道：“素素，无忌，快上来！大哥说不跟咱们一起去。”殷素素和无忌听了也是大吃一惊，一齐纵上岸来。无忌道：“义父，你为甚么不去？你不去我也不去。”谢逊心中实在舍不得和他三人分别，三人此一去，自然永无再会之期，他孤零零的独处荒岛，实是生不如死，但他既与张翠山、殷素素义结金兰，对他二人的爱护，实已胜过待己，而对义子无忌之爱，更是逾于亲儿。他思之已久，自知背负一身血债，江湖上不论是名门正派还是绿林黑道，不知有多少人处心积虑的要置己于死地，何况屠龙刀落入己手，此事难免泄露出去。若在从前，自是坦然不惧，但这时眼目已盲，决不能抵挡大批仇家的围攻，料知张殷二人也决不致袖手不顾，任由自己死于非命，争端一起，四人势必同归于尽。一回归大陆，只怕四人都活不上一年半载。但这番计较也不必跟二人说明，事到临头，方说自己决意留下。他听无忌这几句话中真情流露，将他抱起，柔声道：“无忌，乖孩子，你听义父的话。义父年纪大了，眼睛又瞎，在这儿住得很好，回到中原只有处处不惯，反而不快活。”无忌道：“回到中原后，孩儿天天服侍你，不离开你身边。你要吃甚么喝甚么，我立刻给你端来，那不是一样么？”谢逊摇头道：“不行的。我还是在这里快活。”无忌道：“我也是在这里快活。爹，妈，不如咱们都不去了，还是在这里的好。”殷素素道：“大哥，你有甚么顾虑，还请明言，大家一起商量筹划。要说留你独个在这儿，无论如何不成。”谢逊心想：“这三人都对我情义深重，要叫他们甘心舍己而去，只怕说到舌敝唇焦，也是不能。却如何想个法儿，让他们离去？”张翠山忽道：“大哥，你怕仇家太多，连累了我们，是不是？咱四人回到中原之后，找个荒僻的所在隐居起来，不与外人来往，岂非甚么都没事了？最好咱们都到武当山去住，谁也想不到金毛狮王会在武当山上。”谢逊傲然道：“哼，你大哥虽然不济，也不须托庇于尊师张真人的宇下。”张翠山深悔失言，忙道：“大哥武功不在我师父之下，何必托庇于他？回疆西藏、朔外大漠，何处不有乐土？尽可让我四人自在逍遥。”谢逊道：“要找荒僻之所，天下还有何处更荒得过此间的？你们到底走是不走？”张翠山道：“大哥不去，我三人决意不去。”殷素素和无忌也齐声道：“你不去，我们都不去。”谢逊叹道：“好罢，大伙儿都不去，等我死了之后，你们再回去那也不迟。”张翠山道：“不错，在这里十年也住了，又何必着急？”谢逊大声喝道：“我死了之后，你们再没甚么留恋了罢？”三人一愕之间，只见他手一伸、刷的一声，拔出了屠龙刀，横刀便往脖子中抹去。张翠山大惊，叫道：“休伤了无忌！”他知以自己武功，决计阻不了义兄横刀自尽，情急下叫他休伤无忌。谢逊果然一怔，收刀停住，喝道：“甚么？”
张翠山见他如此决绝，哽咽道：“大哥既决意如此，小弟便此拜别。”说着跪下来拜了几拜。无忌却朗声道：“义父，你不去，我也不去！你自尽，我也自尽。大丈夫说得出做得到，你横刀抹脖子，我也横刀抹脖子。”
谢逊叫道：“小鬼头胡说八道！”一把抓住他背心，将他掷上了木排，跟着双手连抓连掷，把张翠山和殷素素也都投上木排，大声叫道：“五弟，五妹，无忌！一路顺风，盼你们平平安安，早归中土。”又道：“无忌，你回归中土之后，须得自称张无忌，这‘谢无忌’三字，只可放在心中，却万万不能出口。”无忌放声大叫：“义父，义父！”
谢逊横刀喝道：“你们若再上岸，我们结义之情，便此断绝。”张翠山和殷素素见义兄心意坚决，终不可回，只得挥泪扬手，和他作别。这时海流带动木排，缓缓飘开，眼见谢逊的人影慢慢模糊，渐渐的小了下去。隔了良久良久，直至再也瞧不见他身形，三人这才转头。无忌伏在母亲怀里，哭得筋疲力尽，才沉沉睡去。木筏在大海中飘行，此后果然一直刮的是北风，带着木筏直向南行。在这茫茫大海之上，自也认不出方向，但见每日太阳从左首升起，从右首落下，每晚北极星在筏后闪烁，而木筏又是不停的移动，便知离中原日近一日。最近二十余天中，张翠山生怕木排和冰山相撞，只张了副桅上的一小半帆，航行虽缓，却甚安全，纵然撞到冰山，也只轻轻一触，便滑了开去。直至远离冰山群，才张起全帆。
北风日夜不变，木筏的航行登时快了数倍，且喜一路未遇风暴，看来回归故土倒有了七八成指望。这几个月中，张殷二人怕无忌伤心，始终不谈谢逊之事。
张翠山心想：“大哥所传无忌那些武功，是否管用，实在难说。无忌回到中土，终须入我武当门下。”木筏上日长无事，便将武当派拳法掌法的入门功夫传给无忌。他传授武功的方法，可比谢逊高明得太多了，武当派武功入手又是全不艰难，只讲解几遍，稍加点拨，无忌便学会了。父子俩在这小小木筏之上，一般的拆招喂招。
这日殷素素见海面波涛不兴，木排上两张风帆张得满满的直向南驶，忍不住道：“大哥不但武功精纯，对天时地理也算得这般准，真是奇才。”
无忌忽道：“既然风向半年南吹，半年北吹，到明年咱们又回冰火岛去探望义父。”张翠山喜道：“无忌说得是，等你长大成人，咱们再一起北去……”
殷素素突然指着南方，叫道：“那是甚么？”只见远处水天相接处隐隐有两个黑点。张翠山吃了一惊，道：“莫非是鲸鱼？要是来撞木排，那可糟了。”殷素素看了一会，道：“不是鲸鱼，没见喷水啊。”三人目不转瞬的望着那两个黑点。直到一个多时辰之后，张翠山欢声叫道：“是船，是船！”猛地纵起身来，翻了个筋斗。他自生了无忌之后，终日忙忙碌碌，从未有过这般孩子气的行动。无忌哈哈大笑，学着父亲，也翻了两个筋斗。又航了一个多时辰，太阳斜照，已看得清楚是两艘大船。殷素素忽然身子微微一颤，脸色大变。无忌奇道：“妈，怎么啦？”殷素素口唇动了动，却没说话。张翠山握住她手，脸上满是关切的神色。殷素素叹道：“刚回来便碰见了。”张翠山道：“怎么？”殷素素道：“你瞧那帆。”