陆管家看着黄药师和衡儿带着这四个小孩子，慢慢地走出去，也终于想通透了。他也目睹太多人生在江湖，死在江湖了，江湖一旦进去了，就不容易出来，今天可是一个离开的机会啊，这么多年了，直到看着主人楚天行的死，他都觉得疲倦不堪了，他也想要和儿子享受一下天伦之乐。于是他从身上取出一块画满东西的布块，交给那老头，然后就要告辞了。
明教的一些人又想要拦住陆管家，这时候黄药师也走过来了。他们这样僵持着，黄药师不满了，说：“陆管家已经是我桃花岛的人了，谁再为难他就是为难我黄药师。”其中一个明教的人听了，也不满说：“他还知道宝藏的事，万一在我们还没有找到宝藏之前把宝藏告诉别人了怎么办？”黄药师望了他一眼，说：“那是你们自己的事，你一天不把宝藏挖出来，都有被人先挖去的可能！”那个人还想说什么，但那老头却向他示意了，他便只有不作声。老头接过话说：“既然陆管家决定了，作为朋友，我们还是让他走吧。”
陆管家在江湖及商场混了这么多年，他很明白衡儿那句“时不待人”的意思。黄药师和衡儿是他的恩人，而且他们人都这么好，这可是难得的机会啊。于是他便随黄药师和衡儿一起，卖了点首饰之后，在海边的渔村找到一个奶妈，并买了一条渔船，绕过那个浅湾，回到桃花岛了。
有了陆管家和几个小孩子之后，黄药师的工作都减少了许多了。数天之后，在黄药师带着衡儿又回到庆元府要买点造房子和带小孩子需要的材料时，又听到了一个消息：大理皇帝段智兴，竟然放弃了帝位，出家当了和尚了，还法号叫“一灯大师”。这个消息也太突然了，黄药师认为，在他大闹大理国之后，段智兴真的看清楚他自己了，他这样“看破红尘”也是很正常的。衡儿更认为是段智兴认清自己之后，深知犯下了很多错，觉得无地自容，所以这样的出家对于他来说，是一种解脱。
出家了，尘缘已尽，什么都不关他的事了，这样是不错的，但他真的能够什么都忘记了吗？段智兴的出家或者只是一种逃避，让自己离开那个不堪的角色，名字也改了，就不会再被过去折磨了？只是这个“一灯大师”的名字又出卖了他，段智兴永远忘不了，在那天帮衡儿治疗的时候，那一盏烛光下，衡儿那个在他脑海里永远磨灭不了的样子……
对于这个“一灯大师”，衡儿还是有点感激的，他不单用一阳指这样伤害身体的武功来救了她，最后还知错了放走她和黄药师。可能他真的已经大彻大悟了，以前作为一国之君，他弄得朝廷上下一片骂声，也希望作为出家人后，他会受人尊敬吧。
黄药师和衡儿连续运了几车的材料到桃花岛上，虽然都累透了，但他们还是开心得很，因为这些东西可以让他们在桃花岛建好房子，和陆管家他们安居乐业。但是这么多的房子，凭黄药师一个人动手，他都不知道要忙到什么时候了，想叫陆管家帮忙吧，他却要带着几个孩子呢？根本抽不了身。衡儿知道黄药师也很想有自己的时间，于是又想到办法，叫他去附近的村落请些人来做工。这点黄药师本来不答应的，因为他不喜欢有陌生人来他这里，但看着那么多的工作，他自己确实不知要忙到什么时候，也只有听从衡儿的意见了。
这一天他们商量好，由黄药师和衡儿先看着那些小孩，陆管家离开桃花岛去附近请工人了。因为陆管家在庆元府还有不少生意上的朋友，他去请几个工人过来就再方便不过了。衡儿害怕陆管家不会绕路，因为那个浅滩确实危险，把路线图都画给他了。她也一下子没想到，万一这个路线图掉到别人的手里，那边浅滩的天然屏障就起不了作用了。
陆管家带着路线图，很快就靠岸了，凭着对庆元府的熟悉，他又很快地找到了几个工人，并且说好价钱，可是当他要带着这些工人出海回去的时候，突然有工人说肚子痛，而且很快地每个工人都说肚子痛了。陆管家也经历不少，他知道可能是有人要向他下手，上岸后也一直觉得好像有人在跟踪着他。他看了看那些工人的情况，觉得他面色挺好的，也不见得很严重。这时候他又留意到在海边有几个人穿着那些工人的服装，正在看着他这边。如果这几个工人不行了，他就可以直接过去叫那几个工人，这样很方便的，但就是这样“方便”，让陆管家感到了危险。
这几个工人肚子痛后，旁边又突然出现几个在等工作的工人。这太不正常了，陆管家怀疑会不会是这几个等工作的人先向那几个工人下了毒，然后想通过他要再找工人，就选择他们。陆管家想了想，还是把那几个肚子痛的工人叫了上船，并且告诉他们他有办法治好他们，就准备开船了。这时候其中一个上了船的工人又说他不想去了。这样拖了一拖，那几个本来在那边等着的工人却主动过来了，他们还问陆管家还要不要工人帮忙。陆管家看得出他们不像是工人，于是一再拒绝了，那几个人有人央求陆管家请他做工，还强行上了他的船。陆管家这时候知道大事不妙，他马上下了船，往岸边就跑了。
那些人看见陆管家这么小心，都只有无奈地看着他离开了。然而陆管家却没有抛下那些肚子痛的人不顾，他过了一会儿就回来了。那几个工人可能肚子已经不痛了，都坐在船上等他了，只有一个还倒卧在船仓里。陆管家没有多想就马上往着海上出发了，因为他还害怕那几个工人再过来。出海之后，他才发觉，衡儿给他的那张路线图不知道在什么时候丢失了，幸好他还记得大概的路线。
在海上漂了一段时间，他们终于来到桃花岛了。陆管家带着他们下船，那个倒卧在船仓的工人也起来了，陆管家这时候才发现这个人不是他找朋友请的人，而可能就是刚才央求请他干活的人。怎么办呢？陆管家知道他不正常，但又总不能这个时候才把他赶回去。犹豫着，他便打算先告诉黄药师和衡儿，先让他们考虑一下了。
黄药师和衡儿也过来了，看着那些工人们，黄药师没有什么好的表情。衡儿的出现，就让那些工人们都一饱眼福了，原来这个陆管家曾对他们提及的岛主夫人是个如此超凡脱俗的美人。他们都看傻了眼，黄药师也有点不高兴了，便带着他们去干活了。在黄药师把他们都带走之后，陆管家才和衡儿提及那个主动要跟着过来的工人。衡儿对陆管家很放心，她听到陆管家这么说，也有所警惕，不过因为是黄药师带着他们干活，衡儿没有不放心的理由。
陆管家请的这些工人还是挺勤劳的，黄药师对于他们的工作都满意，也暂且先把他们安排到临时搭建的简易房子里，还让前段时间请来的奶妈为他们做饭。他们相处还算可以，黄药师也慢慢成了他们的苦力工了，所有东西都由黄药师一个人搬，一些他们弄不到的活都由黄药师承担了，那些工人就只负责建房子。也因为这样，他们建的速度非常快，十天左右的时间，已经差不多可以完工了。黄药师向来不喜欢陌生人，所以他也计划主要结构弄好之后，就把他们送走，由他自己慢慢完善处理了。
这几个工人都很卖力，陆管家和衡儿也打消了对那个工人的怀疑。也为了让黄药师放心，衡儿更是让陆管家准备好工钱，准备第二天就交给他们，带他们回去了。虽然有这些工人干活快很多，但他们始终都是陌生人，免得夜长梦多，而且请他们也是要工钱的。
第二天，陆管家便利用午饭后的休息时间，去找他们结算工钱了。这几天他们都习惯午饭后到沙滩那边散步了，陆管家便带着工钱去找他们算帐。本来应该是很快的事情，也不知何原因，陆管家去了近一个时辰了，还没有回来。心思细密的衡儿觉得有点不正常，她便叫黄药师提高警惕了。黄药师听了衡儿话后，也马上赶去到海滩那找陆管家，却只见那几个工人有说有笑，在黄药师问了情况之后，他们都说还没有见过陆管家。这个桃花岛也挺大的，陆管家有时也会走到一些地方帮黄药师采药，但陆管家这人一向做事都很谨慎，但凡有什么事，都会跟黄药师或者衡儿说一声，做事向来有分寸的，从不私下做什么的，今天这样让黄药师也有点不安。