杨宪益在书记的陪同下，回到了他久违了的百万庄的家里。酒喝到一半听到敲门声……在办公室里戴手铐像是玩魔术……趿着拖鞋踢踢踏踏夹在一帮人中间下楼……路灯昏黄的光线透过军用吉普的小窗一闪一闪……四年前的情景，一幕一幕涌上脑海，噩梦的结束与噩梦的开始一样倏忽，非同寻常的经历通常不是为寻常的脑筋准备的，因此要使自己相信确曾经历过那些往事，有时还需要些力气。
走到家门口，书记亲自揭下了封条，推开了房门。壁炉台上种在死人头盖骨里的一株仙人掌，已经长得有一英尺高了，他下意识地用手去碰了碰四年来都无人照料的可怜的植物，不料它却无声地一下坍塌涂地，化为齑粉了！
当时天光已经暗下来了，杨宪益打算先出去找个地方吃晚饭，书记给了他一些钱。第二天，单位还派了年轻人来帮杨宪益搬动家具，扔掉垃圾。甚至于细致到让他去买鲜花和巧克力迎接妻子。
杨宪益出狱后，马上去见被派去扫了几年大马路的老母亲。当时他的大妹妹也在，杨宪益转过头去问她什么地方可以买到插花的花瓶，杨敏如听了不禁大叫起来：
“你怎么还没改造好？怎么还要买花？！还有资产阶级的坏毛病！”
杨宪益喃喃道：“不是我要买，是上面领导叫买的，叫我把家里什么都顺好，就去接乃迭回家。”
这样的误解与错怪，杨宪益不仅受之于妹妹，也受之于妻子。在他出狱后，隔了一个星期日，是个星期二，他迎回了妻子。戴乃迭在桌上看到一瓶白兰地，于是说：
“这么长时间不见，没想到你还没有改变过去的颓废毛病。”
杨宪益不得不又一次作解释，道：
“是支部书记指示这样做的。”
这段对话现在听来颇有黑色幽默的味道。
家里虽经杨宪益打扫收拾了几天，但戴乃迭仍然觉得脏乱得不行，两人又忙了几天，才觉得勉强可以住人了。周五，杨宪益提笔给他在南京的小妹及妹夫写了封信，报告他与妻子出狱的喜讯：报告你们一个好消息，我和乃迭经过四年的详细审查，问题已经完全弄清楚，属于人民内部矛盾。经过总理批准，现在已经回到外文局工作……
……在那几年里，我们情况倒还好，整天就是学习和交代问题，家里的孩子和姆妈，以及敏如和沛霖受到一些连累，吃了一些苦，这也是很自然的，总之，大家经受了考验，结果都还好……
坏事可以变成好事，我在解放前一段历史，主要是与一些英美帝国主义分子的关系，不够清楚，解放后党对我始终不甚放心，过去我在精神上也有些包袱，不大愉快，有时情绪很坏。经过这四年审查，我的历史已经完全弄清楚。……公安局负责人员告诉我，这次对我的历史审查，政府花费了很大力气。我感到十分感激。现在我的历史包袱也放下了，精神很好。……乃迭进步也不少，回来后情绪很好。今后应该加紧改造自己的资产阶级世界观，好好学习主席著作，做好工作，来报答党的恩情。
夫妻俩整整坐了四年大牢，照理时间不短，遭遇的也不是小不幸，可从信中看不出一点他心潮起伏的剧烈。出狱才几天，他与妻子大难之后久别重逢才几天，他就似乎已经平静下来了，完全平静下来了，过早地平静下来了。
看他的信，仿佛他不是去坐了四年牢，而只是十天半个月地被拘留了一下，去接受了一点调查，去协助了一下调查，而后就简单地放了出来，一点没有受伤，既没有皮外伤，也没有内伤，从肉体到精神，似乎都没有受伤。
实际的情况当然并非如此。杨宪益出狱没几天，就有一位老朋友得到消息，到他家去探望。杨宪益出来开门，在露面的一刹那，令老友吃惊的，除了杨宪益在牢里剃的光头、营养不良造成的菜色的脸与粗糙的皮肤，还有就是那长年生活在恶劣环境下所特有的眼神，过去眼睛里的那种散淡、安逸、温和、灵动、机智的光与气都不见了。当然，在与昔日老友的交谈中，杨宪益以往的神采很快恢复了。
杨宪益很爱他的妻子，平常很在乎妻子的感受。这次牢狱之灾，他与妻子同时同样患难，即便他不在乎自己的伤痛，也会在乎妻子的伤痛。当年中央大学不肯续聘妻子，他就很生气。而且他写这封信的时候，他儿子的危机他还不知道，他更未料到，“大家经受了考验”，唯独杨烨没有经受住考验，而且“结果”竟是那样不好。
杨宪益能够几乎是在人离开监狱的同时，心也摆脱了坐监的阴影，当然最主要的还是他是一个处事豁达的人，不太喜欢把自己的伤口翻给别人看，他不是那种需要通过向旁人倾诉而获得心理安慰的人，也是在骨子里有某种傲岸与清高，可以蔑视他所经历的苦难以及把苦难强加给他的人。
正因为如此，所以他后来向人叙述起四年的铁窗风味，那语气，听来就像是在谈论自己的一桩趣事，或是别人的经历。
杨宪益在夫妻双双出狱返家时，当然不可能知道，这牢狱之灾并不是他家庭不幸的最后结束，后面还有更大的灾难在等待着他们，他们将会有锥心刻骨之痛，而那伤痛将终身不能平复。
5.痛失独子
1941年快到年底的时候，杨宪益结婚半年的妻子戴乃迭有了身孕。当时夫妻俩在贵阳师范学院任教，贵阳在戴乃迭眼里，是个单调乏味落后的小城，初次怀孕的戴乃迭对当地的妇产医院毫无信心，她向丈夫表示想去医疗水平好一些、“开化多了”的成都分娩，而她的母亲也在成都，杨宪益当然同意。戴乃迭在贵阳师院还有课，她走后，她的课便由杨宪益代上。1942年8月戴乃迭生产前后，杨宪益便也离开贵阳，来到成都。新学期开始后，夫妻俩同在市郊的光华大学教英语。
杨宪益和戴乃迭的三个孩子
戴乃迭生下的，是一个男婴。不知出于什么考虑，他们给他取的名字，单字“烨”，火字旁，仿佛注定了儿子的命运终究与烈火有关。
在杨宪益的自传里，看不到他对这个儿子的出生有什么非同寻常的兴奋，依照常理他是该有这样的兴奋的。因为他是独子，责无旁贷地负有家族传宗接代的重大使命。他若思想开放，不看重这个，他的母亲若非不寻常的女人，也会看重这个，而自觉不自觉地给他压力，所以妻子第一胎就生了个儿子，至少他会长吁一口气吧，舒心地。
杨宪益不大会做家务，所以照顾襁褓中的孩子的烦琐事就由妻子一人承担，她还得上课，所以很辛苦，总是用一个小背篼，把儿子驮来驮去，因为要喂奶。
医生建议戴乃迭每天得吃两个鸡蛋，才能保证哺乳的营养，可物价飞涨，米珠薪桂，杨宪益夫妻两人工作仍然捉襟见肘，每天一人一个鸡蛋还勉勉强强，如果妻子吃两个，杨宪益就不能吃了。后来杨宪益的留美同学朱延丰邀请他到重庆的中印学会任研究员，那里的薪水要比光华大学高一些，这样他们就迁到重庆去了。
杨烨自小是个非常敏感的孩子，这类儿童在同龄人中虽然往往显得较为聪明伶俐，但同时也容易心灵受伤。还在幼儿园的时候，他就感觉到自己的妈妈与其他小朋友的妈妈的不同了，并且因此有了自卑的心理苗头了——“别来接我回家，妈妈，别的孩子都在看呢！”他常常这样央求母亲。
抗战中，杨宪益的思想开始“左”倾。他自小喜欢广读闲书，进牛津大学之前就读了一些马恩论著，觉得颇对口味。入大学以后仍然不时读一些。他在自传中写到他游历巴黎：
“我还想看一看巴黎公社社员起义失败被杀戮的那堵墙，我看了卡尔·马克思有关这一事件的文章，被公社社员们的精神深深打动。我想正是它开始把我引向马克思主义。”
杨宪益的性格中，含有对侠义精神的崇尚，可能这是他被巴黎公社社员的悲壮所打动的触发点。马克思关于巴黎公社的主要论著有《法兰西阶级斗争》、《法兰西内战》、《哥达纲领批判》、《路易·波拿巴的雾月十八日》，不知杨宪益被感动的是哪一篇。
他与中国共产党人的接触发生在抗战开始后，那时他在英国留学，得知巴黎的中国留学生在中共的支持下，办了一份《救亡报》，杨宪益找到他们巴黎的办事处，送去二十英镑，表示对他们的支持。一位共产党代表接见了他，与他进行了一番交谈，谈了中共对国内形势的认识，还共进了简餐。