杨宪益对中国共产党的良好印象，有两本书也起了作用，一本是《西安事变》，另一本是《人民战争》。这两书是同一个作者，名叫詹姆斯·贝特兰。他是牛津的毕业生，是被派驻中国的新闻记者，他曾去过延安，采访过毛泽东。显然他对中共抱有同情，所以前一本书表述为张学良在西安扣留蒋介石，迫使他屈从人民的要求，停止打共产党，转而抗日。后一本书是纪实性的，内容一如其名，写的是中国共产党领导北方人民对日本侵略者所打的一场“人民战争”。这两书给杨宪益以“强烈的印象”。
留学期间，杨宪益还与王礼锡走得较近，在自传里说那时“我在王礼锡位于汉普斯特德的厄普兰德路五十号的家里度过很多时光，对某些问题的热烈讨论有时会持续到清晨两三点钟”。
王礼锡是个文化人，对于诗歌，早年受过正规训练。出国后，继续写诗，有“东方的雪莱”之誉。王礼锡也搞过政治，他在第一次国共合作时期，曾加入了国民党，从事农民运动，后进入广东国民政府，被选为第三届中央委员和农民部长。1926年与毛泽东等人在武汉创办中央农民运动讲习所。四一二国民党发动反革命政变后，王礼锡退出国民党，出任上海“神州国光社”总编辑。因大量印行左翼作家和马列主义著作，国光社遭停业，王礼锡遭通缉。后因参加筹备“福建人民政府”被特务组织“蓝衣社”列入暗杀名单，故于1934年年初流亡欧洲。
这样身份与经历的王礼锡，对于杨宪益会有怎样的影响，这是不用多说的。杨宪益在自传中就曾提到“蓝衣社社员”，又说蒋介石仿效墨索里尼、希特勒等法西斯头子们云云，笔下有鄙夷之气。
杨宪益回国后，抗战尚未结束，他一度想到延安去，还问妻子愿不愿意去，妻子表示愿意，但不如他那么热心，最终他与共产党联系的中间人劝阻了他。
快解放的时候他与共产党走得更近了。南京解放时，在中央大学任历史教授的他担任了国民党革命委员会秘书长，代表民革南京市委为《新华日报》草拟了支持中国共产党的宣言与讲话；并撰写一系列文章，解释中共在国民经济、教育、文化以及其他方面的政策，后来又担任了南京市人民政治协商会议副秘书长。
在他的忙碌中，儿子渐渐长大，杨烨依然敏感，自卑也与年岁俱增，从敏感母亲洋人的长相与旁人不同，到敏感自己混血的长相与别人不同。
忙碌中的杨宪益显然忽略了儿子心理上的问题，其实早在抗战中，就有他们认识的一位儿童心理学家向他们提出过忠告，建议他们“要么把孩子带成中国人，要么带成西方人，不要弄得中西结合，成个‘二不像’”。杨宪益觉得他们生活在中国，当然要把孩子带成中国人，所以在家里，跟孩子只说汉语，不说英语。其实说哪种语言并不十分重要，而他恰恰把更重要的方面忽略了。
杨烨是个理想主义者，他相信通过自己的努力，可以弥补他与生俱来的“缺陷”，改变人们投来的异样的眼光，所以他从小学到中学，学习成绩好，政治表现好，甚至体育运动也好，完全符合“德智体全面发展”的要求。
1963年杨烨参加高考，第一志愿是北京大学物理系，结果他没有被这所全国顶尖的大学录取，不是因为成绩，而是因为出身，北大物理系的原子物理研究与国家政治关系紧密，杨烨没能通过政治审查这一关。
杨宪益于此与儿子并没有更多的沟通与疏解，在那个气候特殊的年代，许多事情他自己也不曾料到，也未必能想得明白，自己尚且“昏昏”，当然无法使儿子“昭昭”了。
出身问题使儿子遭遇挫折，报考北京大学并不是第一次，第一次是中学时的加入共青团，杨烨入团受组织的考验期长于他的同学。北大未录取，杨烨被调剂入了建校不久的北京工业大学。他并没有因屡次受挫而思想有所转变，反而理想主义者的热情更加高炽。“文革”开始后他正大三，非常积极地投入到这场红色风暴之中，甚至于抄自己的家，破父母的“四旧”，把母亲的古典音乐唱片掰碎，杨宪益气得骂他“混蛋”。
1968年4月，杨宪益与妻子双双被捕入狱。之前，杨烨大学毕业被分配去了湖北省嘉鱼县一家农机厂当技术工人，在那里受到监视。因为他长得目深鼻高，太像外国人，被人诬陷“偷听敌台”而受审查，把他的钟表、被褥都拆开检查，寻找特务活动的证据。偏偏他妹妹给他寄去了一包书，革命委员会打开检查，发现其中有一本《摩斯密码》，那是杨烨在中学时参加当时兴起的“国防体育运动”时用的教材，但审查组不听他解释，觉得是找到了铁证。一贯的歧视，反复的审查与批判，杨烨那颗年轻的、热情四溢却不够坚韧的心承受不了了。
1972年杨宪益与妻子先后被释放回家后，向组织上提出申请，将他们的三个分配到外地的子女调回北京。杨烨被安排在北京市一家国营电子研究所工作。可是不久，杨宪益就发现平时神情显得忧郁的儿子精神有些异常。后经北大附属医院美国专家米勒教授的诊治，病情有所控制，但终究不能彻底痊愈。
杨烨的病情在继续，慢慢地发展到不肯去上班了。1974年夏天，杨烨病情转重，忽然认定自己是有英国国籍的英国人，应当回国，为此他偷拿母亲的英国护照，三闯英国驻中国大使馆，大使馆于是报警，警方拘留了杨烨……
杨宪益被儿子搞得焦头烂额，痛苦不堪。因为担心把儿子送入精神病院会吃苦头，所以只把他关在家中，而由米勒教授继续治疗，但疗效并不理想。
杨宪益儿子的精神出了问题，杨宪益所在的单位外文出版局的领导、同事都知道，后来局长就与杨宪益商量解决办法，大家觉得杨烨既然如此执拗地想去英国，不如就遂他愿，加上换了环境，或许对他的精神有所助益。杨宪益夫人在英国的姐姐希尔达也来信表示乐意接纳这个外甥。
杨烨在英国一度精神状态比较稳定，当然举止也还有一些怪异之处，实际上是病根仍在。尤其是在公共场合，比如咖啡馆里，一旦见着中国人，他就会落荒而逃，他恐惧，怕被抓回中国。终于有一天，他在所住的姨妈的房里，浇上汽油，自焚而死！
唯一的儿子选择如此激烈的方式结束自己的生命，消息传来，杨宪益受了很大打击。至于按英国保险公司估算的房屋损失进行经济赔偿，那都不算什么了。
对于痛丧爱子，妻子较之杨宪益，似乎更不能承受。她有点埋怨丈夫在儿子少小时忙于社会政治活动，而对孩子关心不够。当然这是事实，杨宪益心中悲苦难以言说。
十多年后的一个冬天，杨宪益与妻子在家里晚饭后对饮，酒酣微醺之际，两人唱起了年轻时喜爱的歌曲，一首接一首，唱到了古老的爱尔兰民歌《丹尼男孩》：Oh Danny boy，the pipes，the pipes are calling.
From glen to glen，and down the mountain side.
The summer's gone，and all the flowers are dying.
It's you，It's you must go，and I，I must bide.
But come you back when summer is in the meadow.
Or when the valley is hushed and white with snow.
It's I'll be here in sunshine or in shadow.
Oh Danny boy，oh Danny boy，I love you so.
………
这是一位不久于人世的父亲对远方从军的儿子的诉说衷肠：噢，丹尼，笛声从峡谷传到山的那一边，夏天已经过去，花儿也快要凋零，你踏上征程，而我只能等待。……噢，丹尼，噢，丹尼！我是多么的爱你！
在那优美的旋律里，充满了无尽的感伤。75岁的杨宪益唱着唱着，那爱尔兰老父对儿子的一声声深情呼唤，变成了他自己的心声而痛彻肺腑；诗句的重复与迭加，是对爱子的喃喃私语。杨宪益再也抑制不住胸中的波涛，老泪夺眶而出，在脸上纵横起来，他对妻子哽咽道：“我真想我们的儿子……”
50年前，一位曾经与丈夫一同在中国传教的、名叫塞利娜的英国女士，当她无法说服执意要嫁给一个中国留学生的女儿时，口出惊人之语：
“你们的婚姻维持不了四年，你们的儿子也将自杀身亡！”
这位有先见之明的女士，就是戴乃迭的母亲。
当时女儿把母亲的话当做耳旁风，她认为那不过是一个爱女心切的母亲的一时愤激。没想到造物弄人，居然应验了。