尽管杨宪益的意思是说当时他写的时候并不是为了发表，而只是“随便”写给杨荫浏看的，采用的材料也是在看书时随手所写的札记，但只要读过这些文章的人，都不难发现它们是专业性如此之强的考据文章。
对于音乐杨宪益有他独特的观点，他“一直认为中国古典诗歌都源自民间音乐”，他想把音乐与诗歌结合起来加以研究，甚至有更大的雄心——“系统地写出一部中国诗歌史”。这个大工程他打算从一条条笔记做起，“从《诗经》到汉魏乐府诗，唐代诗歌到词曲，写出几百条笔记”。
可是主客观原因终使这件大工程成为他生平“未完成的心愿”。客观是，时局动荡，生活不安，手边的资料有限；主观是，他是一个散漫的人，虽然看出了事物的真伪或问题，但他非常清楚，要推翻一个已经被众人所接受的事实，不是一件轻而易举的事，非有强有力的论据，不能使人信服。弄不好，除了被人讥为奇谈怪论外，没有别的结果，他不想把大量时间都花在与人争辩上。
杨宪益发表考据论文最多的是《新中华》杂志，除此之外，他还在《礼乐》、《文讯》、《时与潮副刊》、《中国杂志》、《图书季刊》上发表同类论文。论文的题材也不限于音乐史，另外还有一般古代史，还有中国与西方的古代民间故事等。那段时间，他还曾受和平日报社之邀，为该报编一个文史考据方面的副刊。他内荐不避己，把他写的那些有关中西交通史、中国边疆各民族古代史方面的论文在副刊上发表。
《新中华》是中华书局主办的刊物，中华书局后来出版了一套丛书——“新中华丛书”，杨宪益将他那段时日在《新中华》及其他报刊上的考据论文共23篇，汇集起来，交由中华书局，作为“新中华丛书”的“学术研究汇刊之一”于1947年出版。
杨宪益在他的《译余偶拾》那本书的序言里说到中华书局出的这本书：“卢冀野兄给这本小书起了一个名字，叫做《零墨新笺》。”
他称之为“小书”，固然是中国文人常用的一种自谦，也未必不是实指这本书的篇幅。《零墨新笺》小三十二开本，只有一百来页，才六七万字。
这么小的篇幅，当然话未说尽，意也未尽。之后他又继续写了一些，1950年汇编成册，名以《零墨续笺》。在当时的社会环境下，大概不易找到出版社，于是他自己花钱，印了一百本份送朋友。
1983年，在朋友的怂恿下，杨宪益将《零墨新笺》与《零墨续笺》交由三联书店，出了一本合集，另起了一个新名叫《译余偶拾》，2006年又由山东画报出版社重印。
《译余偶拾》共收录了87篇文章，杨宪益谦虚地把它们说成是读书笔记，虽然其中的确有一些是如随笔似的简短文章，但也有不少是从实证史料出发的考据论文，内容涉及乐曲、歌舞、人物、文学、版本、语言文字、中外交往通好、风俗、制度、典章、姓氏、名物、地志、史迹等。
杨宪益强闻博记，阅多识广，思维异常活跃，联想十分丰富，因而能融会贯通。看到中国的，马上会想到外国的；看到这个时代的，马上会想到那个时代的，反之亦如是，常常不假思索。比如他怀疑《离骚》不是出自屈原之手，而是淮南王刘安写的，对此他就联想到争议很久的古代爱尔兰说唱诗人莪相诗歌的真伪问题。18世纪苏格兰诗人麦克菲逊宣称发现了莪相的诗歌，其实是他自己根据3世纪盖尔族诗歌创作的。一时间，不明真相的世人争相传诵，“莪相的诗”风靡欧洲大地，以至于对早期浪漫主义运动都产生了重要影响。
“联想”也促使杨宪益发现问题，不盲从、不迷信，在不疑处生出疑问来。
《破阵乐》是唐太宗时的一种武舞，摹拟战阵动作，用以夸耀太宗的武功，杨宪益写的《秦王〈破阵乐〉的来源》中推断《破阵乐》可能是古希腊或古罗马的一种武舞，经突厥传入中国。
像这样建立于胸藏万卷基础之上的、思路极其开阔的慧眼识破与大胆推论，在《译余偶拾》里比比皆是，十分引人入胜。诸如唐朝孙《幻异志》里的板桥三娘子的故事，杨宪益认为源出古希腊《奥德修纪》史诗第十卷里女巫竭吉的故事，又见于古罗马阿蒲流的《变形记》；《太平广记》所记新罗长人，也与《奥德修记》里的长人故事相似；唐代的另一本笔记小说集《酉阳杂俎》续集《支诺皋》中，写了一个叫叶限的女子，杨宪益一眼就看出这就是西方的扫灰娘的故事；《酉阳杂俎》里的英雄降龙，杨宪益认为是西方尼别龙故事的来源；《安徒生童话》中著名的《国王的新衣》，中国早在它之前一千多年就有这个故事了，而杨宪益又认为故事来源于印度；我国民间传说的薛平贵的故事与格林童话里的《熊皮》系出同源……
这样也就理解了，杨宪益何以能在看似非常枯燥无味的古文字里徜徉得津津有味，并不是他以苦为乐，他不是那种苦行僧，而根本是他在其中发现了莫大的乐趣，解谜的乐趣、发现的乐趣，他乐在其中，流连忘返。只是后来被职业拉回来了，是翻译成就了他，也是翻译让他未做成他真正想做的学者。