趁着太阳出来之后气温有所回升，黄药师马上背上了衡儿，带齐雪莲花和金蛙蛙鱼离开那里了。因为他要培值这种神奇的对衡儿的病也有很大帮助的雪莲花，以及带着那可以治好衡儿疾病的金蛙蛙鱼。如果出了什么差错的话，这连续几个月的行程就白费了，而且可能他再也不能找到这些珍稀物种了。衡儿很明白，她也不想她这些金蛙蛙鱼会冷死在途中，很配合黄药师，指着路。为了保护这两样宝，黄药师没有停歇，带着衡儿从长白山一直走到东京路，然后马上买了船下海了。
重新回到大海里，他们都心安了很多，因为海上虽然有意想不到的灾难，但总比陆地上安全。衡儿还买了大量的干粮和杂物到船上，黄药师有点不解，他没有衡儿想得周到，可能短时间内不会明白。但现在船载物多了，他们要在海上过的日子还长着呢。不过上次遇上那龙卷风的事让他们都聪明了，在海上直航了一段距离之后，都贴近岸边航行了，这样有什么事都可以马上靠岸。
海上的日子其实挺苦的，不过也是一个绝对的二人世界，他们都过得很开心。都在憧憬着一个共同的理想，就是一起在桃花岛上快活地过日子，从此不再有烦忧。只是他们都没有告诉对方，不知道其实都在发着同一个梦。尽管很漫长，也很苦，但在船上数天的日子，他们都过得很快乐，衡儿更是常向黄药师撒娇，还要黄药师抱住她睡觉。黄药师表面上还是那副模样，但心里是无比的快乐。
终于又回到了桃花岛，黄药师第一感觉桃花岛好像变了点，其实是因为他憧憬得太好，才会突然有这种对比的感觉。回到桃花岛后第一件事当然是把金蛙蛙鱼和千年雪莲花处理好了，有衡儿在，这些本来很难的事情，都变得简单了。黄药师开心之余，他还不会想到，简单的问题也会变得复杂了。
先是建房子，按衡儿的建议，先建一个普通的来暂住一下，这个还难不倒黄药师。然后就是衡儿的“可继续生活”方针，什么开荒种田、养殖修缮，一大堆的工作堆到黄药师的身上，他才知道平凡的生活有多忙，很多东西也不是他懂那么点功夫就能做到的。他还计划要建一个有点样子的房子，要设多少个书房，衡儿听着就打击他了，跟他算了一算建这么大的房子，每天打扫要多少时间，然后还要经常维护，还有种田耕作等，算起来他一天到晚忙个不停才刚好能忙完。这下可难倒黄药师了，他真想不到这样的生活会让他一点时间都没有，想想还是以前云游四海的日子好。
黄药师知道衡儿这样跟他说，都是先给他心理准备，但这些活他还是要做的。困难黄药师从来不怕，只要能让衡儿安心地生活，他毫无怨言，而且慢慢地他又掌握了经验，省下了时间。比如养殖他暂时没有做，因为衡儿本来就只吃素的，他自己想吃肉的时候，就去那个满是鲨鱼的浅湾抓一条回来，那里的鲨鱼抓不完呢，只是那样的肉并不好吃，只有鱼翅滑一点。
日子一天一天过去，衡儿的身体也一天一天好起来了。随着春天的到来，桃花岛上的桃花开放起来，一片的粉红色，衡儿很开心。这一天衡儿手里拿着一朵从地上捡到的桃花，因为她不愿去摘树上还生长着的桃花，她又要黄药师抱紧她，到那条几百丈长的沙滩上漫步，并且害羞地问黄药师：“你有听说过牛郎和织女的故事吗？”黄药师听到她突然提这个问题，想到点什么，也点着头，说听过。“能够和爱人一起白头偕老，是多么幸福的事情啊。”衡儿说着，又低下了头。黄药师听了，望着大海，说：“是啊，能永远陪伴在爱人身边，就足够了。”“难道你不想和我一起……”衡儿脸一下子红了，黄药师转过头望着她，说：“当然想了，但我……”衡儿转过了身，说：“你难道还不明白吗？”黄药师看着她走远了，又追上去抱住了她，说：“我怕会伤害到你……”衡儿的脸红得更厉害了，说：“你小心点，你是最爱护我的人了，你不会伤害到我的，对吗？”……
黄药师虽然不信什么神佛，也从来没有为已故的家人立牌位，但他还是简单搞了一个仪式，不为什么，只为给衡儿一个名份。而在这个仪式上，黄药师向衡儿坦白了，他心里面其实还有一个琛灵公主，虽然琛灵公主已经去世了，但他对衡儿明说永远不会忘记她。衡儿听着黄药师一句一句说着那些话，她丝毫没有不高兴，反而很感动。因为琛灵都已经去世那么久了，黄药师还是这样记得她。她更想到如果自己将来有什么不测，也能永远活在黄药师的心里。他们的生活过得更好了，由于沉浸于快乐，那些日常的工作黄药师都开始有点马虎了。
这样快乐的日子又过了一段时间，已是初夏，这天突然有人驾船来访桃花岛。本来他们都以为只是路过的渔民，直到那船靠了岸，黄药师才看到是袁风！见面后，他们都发现，袁风离开他们半年多的时间，现在变得憔悴了，而且还是第一次留了点胡须。其实他早些时间就打探到黄药师和衡儿可能在桃花岛生活了，但再三挣扎都没有来打扰衡儿。这些日子他过得很苦，但他也不希望让谁知道，今天也是有了一件比较重要的事情，才顺道要来看看衡儿的。
知道是袁风来访，黄药师心里有种特别的感觉，他知道袁风真的很喜欢衡儿，不是很想让他知道自己和衡儿的事，因为他不想让这个朋友难过。他竟然不知道该和袁风说些什么，袁风也仔细地观察了他很久，还是一语不发，他以前可是什么都要哆嗦好一会的人呢。衡儿也迎过来了，她还是很开朗地笑袁风这个那般。袁风看到衡儿那熟悉的面容，心里有一种开心，更有一种难过，衡儿面色红润了，也好像变得更美了。而且，很特别的一点，他没有再叫衡儿作“亲爱的”了，但没有一个新的称呼，只直接说话。黄药师第一句说的话是：“不如到舍下叙一叙吧。”袁风没有回答他，但却装得很兴奋，笑着说要见识一下这桃花岛。
到了那个很简单又有点乱的屋子，袁风都想不到衡儿的住所还会是这个样子，如果是他的话，这样乱的样子他不会觉得舒服的。袁风笑着提到要在这里长住，但说完之后自己又觉得好像说错什么了，造成了一段时间的沉默。他又有种很想离开这里的感觉，犹豫又再犹豫，于是跟黄药师说了他来的一个主要目的：
原来《九阴真经》在江湖酿造了几次血腥杀戮，后来不知为何又落到了北斗仙翁的手里，现在北斗仙翁为了停止这永无休止的杀戮，说将由他的徒弟王重阳代为举办一个武林大会，最后的胜利者将拥有《九阴真经》。王重阳说明任何人都有这个机会，但谁胜出了，其他人都必须遵守承诺，十年内不得再争夺真经，十年后将再办一届武林大会，有能力的可以再去争夺。江湖中人也深知这样无止境的争夺《九阴真经》不是好事，而且北斗仙翁重出江湖主持这事，他们都不敢乱来。比武的地址本来定在终南山，但有武林人士提出质疑，便改为终南山附近的华山。
袁风还提到现在全个武林都知道这件事了，各门各派都垂涎《九阴真经》，这个武林大会不知会有多少豪杰参加。本来王重阳的传真教也要邀请黄药师参加的，只是很少人知道黄药师的踪迹，于是他便前来相告了。他这样说，黄药师心里又来矛盾了。一方面他很珍惜和衡儿一起的生活，不想因为什么受到影响。但另一方面他本来就喜好习武，这是一个盛会，他又有点不甘于寂寞，而且还有林瞪曾经和他有一个约定，叫黄药师取《九阴真经》，他自己取《九阳真经》。
然而衡儿一口拒绝了袁风，她不想让黄药师再染到什么江湖中的事情，经历了这么多，她完全知道那里的危险。袁风认真地看了看衡儿，他知道衡儿害怕黄药师的离开，他不想让衡儿有什么顾虑。于是笑着说王重阳的天人合一和太虚之功如何厉害，天下无人能敌，他们去了都只是白去，他都打算不去了。他这么说，显然衡儿和黄药师都知道他只是瞎说，但他们都没有戳穿他，今天他瞎说的话也太多了，他们都不想再伤害他。
袁风当天就走了，他其实是多么的不愿意，他知道这些日子自己是怎么熬过来的，他多想留下，留在衡儿身边，只要能见到衡儿他就满足了。但是这样会影响衡儿的幸福生活的，他犹豫又再犹豫，还是只留下了一句话就转身离开了：“你千万要对衡儿好！”他明明是对黄药师说的，但来了桃花岛那么久，他始终没有看过黄药师一眼。
袁风心里是难过的，黄药师怎么会不知道呢，但他没有办法，他表面上和袁风是完全相反的态度。袁风会时时刻刻地把“亲爱的”挂在嘴边，黄药师从来不会说半句这样的话，但他们的心对衡儿是一样的。这样的事永远没有好的处理方法，注定有一方是痛苦的，黄药师只有叹气。