王懿荣与潘祖荫有师生之谊。同治十二年（1873）王懿荣参加顺天府癸酉科乡试，中副榜第一名，当时担任副主考的考官正是潘祖荫。其实，王、潘二人早就有交往，《王文敏公年谱》记述：“同治十一年（1872）六月、七月间，和潘文勤公‘消夏六’。七月五日，汉郑康成生辰，潘文勤公置酒展拜，邀公胡甘伯（澎）、陈六舟（彝）、谢麟伯（维潘）、许鹤巢（庚扬）、陈木夫（乔森）、张孝达（之洞）、吴清卿（大）、顾缉廷（肇熙）、严汝成（玉森）、李莼客（慈铭）计十二人，张文襄公有诗纪事。”有关这次集会，王懿荣也有记载，一是在《诰封宜人原配蓬莱黄宜人行状》一文中，二是在王懿荣诗集中《消夏六詠和潘郑庵侍郎》诗六首。因为那时王懿荣虽然还没有在科举中式，但以其卓越文才很快成为大受欢迎的人物，其“清流雅望”在京城名士间，时有传闻。
王懿荣在《诰封宜人原配蓬莱黄宜人行状》一文中曾记载曰：“懿荣居京师久，交游既广，每以春秋佳日，与长沙周阁学、吴县潘侍郎、遵义景阁学、洪洞董研樵检讨、太谷温味秋、仪征陈六舟、巴陵陈伯、余姚朱肯夫、南皮张香涛、吴县吴清卿编修、会缉李莼客、甘泉秦谊庭、绩溪胡甫、光山胡石查、遂陈逸山、大兴刘子重、仪征陈研香、邹县董风樵、元和顾缉庭、歙县鲍子年、长沙许鹤巢，递为诗酒之会，壶觞几无虚日……”
潘祖荫长王懿荣15岁，是金石文字学把这一对忘年之交结合在一起，从目前所搜集王懿荣致潘祖荫的信札中，可以看出，几乎全部都是二人讨论金石文字内容的，二人讨论金石文字，已经超越了师生之谊，可以看出，二人在学术上是平等的，其亲密程度超越一般师生、朋友、官属关系。这四十余封信札的时间约在同治五年（1866）至光绪五年（1879）之间。
潘祖荫才华横溢，兴趣广泛，在不少方面都有较深造诣。他对金石文字亦有浓厚的兴趣。自咸丰甲寅（1854），就开始收集大量的朝鲜碑刻及部分日本碑刻，进行了认真的考证和研究，辑为《海东金石录》二十四卷，王懿荣在很多信中提及和他研探。正因为潘祖荫和王懿荣都十分爱好收藏金石文物，尤其醉心于彝器的收藏和研究，我们通过这些频繁往复的信札，可以看出，王、潘二人在探索金石文字方面成就是突出的，也通过王懿荣致陈介褀、潘祖荫、吴大澂这些金石文字方面的信札中，对他日后发现甲骨文是必然的事情。正是当时年轻的王懿荣，和比他大30多岁的陈介褀，大15岁的潘祖荫之间亲密的交往，使得王懿荣见识愈广，视野愈宽，考据愈精，辩物愈真的非凡才干，使这些金石收藏大家才如此信任和敬佩，才使这些信札成为当时研究金石文物的学术遗产和见证，为后人考据金石文物留下了可靠的依据和理论。
潘祖荫当时任工部侍郎，潘家世代官宦，家境殷富，且潘本人又是一个著名学者。王懿荣与其交往中，无形就像又结交了一个文物大收藏库博物馆、为王懿荣在金石研究上丰富了文物知识，开阔了眼界，提高了档次。无怪后人将王懿荣在研究金石文物、传统文化方面的地位，与潘、翁相提并论。《清代朴学大师列传·金石学家列传》中写道：“公为学不分汉宋门户，殊笃好金石文字。潘文勤及常熟翁尚书咸推重之列为博学多识。于书无所不窥，而于篆籀奇字尤善悟，视当时通儒所获独多，盖天性也。”《清史稿》中亦曰：“懿荣泛涉书，嗜金石，翁同龢、潘祖荫并称其学。”
王懿荣在此期间，与陈介祺、潘祖荫、吴大澂等金石大家探讨、研究金石文字考释，取得了成果，他不忘与他们分享，他在考释文章中写道：
说吕阝钟，“吕阝”是“莒”字，“囗”是“共”字。《春秋左氏传·僖公二十六年》杜氏注：莒夷无谥，各以号为称；又《释例》：自兹与十一世而兹丕，始见公庚与而下，微不复于《春秋》。共见。后四世而楚灭之。是莒之有谥自庚与谥“共”始。此“囗”字上作“囗”，下从“囗”，是“共”字无疑，余羡文也，与阮氏《积古斋款识》所著邾公二钟“囗”字并同。鼓右云，“共公之孙”鼓左云，“其县四堵”，又云，“我以享孝乐我先祖”。案此当是莒公孙以武事作钟祀于共公庙者，故得用四堵也。“大钟既”三字下是“囗”字。
说侯鼎，案“侯”下一字不可识，自是作器者名。彝器内人名往往不可识。此与南海吴氏《筠青馆金文》所著周占卣是一人所作，释“占”字亦未谛当。诸侯不生名之说，自是《春秋》经例微义。汉儒所存旧说，若列侯作器于其验祖庙，无访自名也，亦款识常例。
说伯卣，海丰吴氏所藏敦，第一字作“囗”，南海吴氏《筠清馆款识》释作“囗”，与此相同。又彝器文有作“用孝享于宗室”者，有云作“乃宗宝尊彝”者，此作“乃室”。
说齐子中姜，此与宋《宣和博古图》薛尚功款识《啸堂集古录》所同著录齐侯钟，当是一时异事之器，故文字率相同。字在两铣及钲中并鼓左右间。自左铣起，连鼓左两行读下四行，再起至钲间四行，下接鼓右前四行，起向右铣，下连鼓右两行读，始竟。
左铣至鼓第一行“齐”字下二字俱泐，上一字左畔行“囗”形，似“辟”字，下一字不可识。第二行“子”字下一字泐，是作器人名。“永命”下三字，上甚坚。第四、五、六、七行云：皇祖圣叔，皇妣圣姜；皇祖又成惠叔，皇妣又成惠姜；皇考中（“中”字已起在钲间），皇母云云。窃意中当是成惠叔所出，嗣于圣叔者。上既著某为X叔之孙，此并述其所自出者，故于“皇祖”、“皇妣”下加一“又”字别之。或释为“父”，于“祖”下则通，于“妣”下似不辞也。“囗”，“虞”借字，“囗”，重文，齐侯钟误摹作“囗”，又失去重文。籍此证之，旧释“缀”亦非。“子”字下、“叔”字上一字，与左铣“叔之孙”“叔”上一字同泐，不可识。自“齐邦”二字下“侯氏锡之邑二百”，下连鼓右前四行读，为侯氏当日锡叔劳之邑事与数。“囗”字下一字微泐作“囗”，文不完，自是地名。无从凿识。“造”即“告”字。从“告”以下至“改止，是述侯氏锡邑之命与辞”。“囗”即“业”字。“囗”，“迈”，《说文》，远行也，《释诂毛诗传》、《广韵》俱云，远也。古器铭“迈”、“万”二字通假，此当训“迈”；“囗”，《说文》古文“至”，训鸟飞从高下至地也。“迈至”，犹无远弗届意。“至”下一字泐。第五行“改”下“子”上一字泐。至此起而右铣两行，下及鼓右后二行读。“子”字下右铣第一行首一字泐，是作器人名。“余”下一字微泐，不可识。“囗”下一字亦泐，细审是“大”字。同治庚午四月，山西荣河县后土祠旁河岸圮出土，为彝器款识著录以来，自宋及今第二。
说，古方足币，圆币有文作“囗”字者，旧识为“金化”二字，非也。荣案此“囗”字。《说文》斤部下云：剂也（小徐本），从斤，金声；又“剂”字，刀部，“剂”下云：齐也，从刀，齐声。“囗”、“剂”字同义。窃意“囗”即“剂”字，“囗”、“剂”转注字，如“权”、“衡”等字有转注意同。《周礼·地官·司市》：以质、剂结信而止讼；又，质人大市以质，小市以剂。先郑司农曰，质、剂月平贾，后郑司农曰，大市用长券，小市用短券，是质、剂二物之明证。“剂”、“囗”转注字，不得专训为翦、齐意。司市之剂，质人之剂，皆为“囗”字无疑。今方足币率如翦形，文作“囗”字者是也。后郑司农训“质长”“剂短”，二义甚古，惟“券”字义同而实未协，以当时未见质、剂二物，乃训为券也。质，古方足长币连足，币文作“囗”字者是。此二等币制作，较“囗”文者倍长不止，与后郑训长意适合，是、等币为《地官》所称质、剂二物，自来无人道及者。周平安君鼎文有“囗”“囗”字，是“囗”自有剂平意，“剂”、“囗”之转注又一佐证。古彝器、刀币、铜质迥异，后世器俗称对铜，即五色也。鼎文“”即此义。币文“囗”上有“一”、“二”字者，纪数也。李氏《古泉汇》所著秦权泉文曰第几重四两，以秦半两大钱八权之合，遂定为秦权泉，说甚确。则方足币之“囗”即以剂安邑、隶邑等小币为司市质人之用明甚。今由安邑等《周官》之所谓剂，用以知“剂”为“囗”转注字，又因“囗”等得《周官》之所谓质，兼以明后郑长短训之为古义。释名由选泉而得，深自幸也。懿荣。
古泉说，各说均以歙县鲍氏《观古阁十种》中录出。崇焕谨记。
蜀汉直百五铢，“直百”字实兼隶体，疑初议改铸时，即取五铢旧泉为模，增入“直百”二字。当时盛行隶书，遂采用之。
释六字刀“囗”字，京不能滥称，此字确非“京”。梁、齐安得拟周？即其僭称，亦不见经传。郑之“京城”，乃地名，非通称也。（崇焕谨案：此三代古刀币，历来释为齐、梁物。齐、梁诸侯国，故不能替称“京”，以自此天王。又孙春山丈汝梅、胡石查丈义赞均释此字为“京”字，故文内云云。并见鲍氏书。
释齐三字刀背文齐刀背文“⊙”非“日”，乃“易”字之省，“○”又“⊙”之省，“万”非“万”，亦“易”字之省；“囗”、“囗”并“易”之省；“正”非“正”，乃“囗”字之省；“囗”、“个”、“匚”并“安“之省，以背文本有“安”字、“易”字两种也。“囗”乃“六”字，刀面文“囗”之省，“匚”又“囗”之或体。“囗”非“之”，乃“囗”之省，“囗”乃“囗”之省，“囗”乃“六”字，刀面文“囗”之省。“大”非“大”，“○”非“口”，并面文“囗”之省。节墨乃背文“大”、“囗”，“大”亦非“大”，仍“囗”之省。
释明刀字，“明”字刀一变而存其环为泉，此圜泉“囗”之所出。其稍大作“囗”者，“囗”非“四”字，仍著刀柄之斜直文，存其旧以志其为明刀之遗。若“囗”二字，则直言其为明刀之变，仍书其文曰“明刀”，言以此一泉抵一刀。至再小而为一“囗”，则并省去明刀旧文，直言以一小泉抵一刀耳。明刀止列国。至列国之末，乃秦初，则变而为“囗”、“囗”，成圜，以故率与秦汉半两同时出土。先秦泉不皆官铸，每沿用旧泉之文。荣所获榆荚半两泉中有极小泉，亦是一证。故“囗”字释“月”固非，释“化”亦无当。得此说庶合，、而兼通之矣。
释陈寿丈五铢铜范背文“建武十七年”汉人隶书“七”皆作“t”，似“十”字而下微“L”，向右出小尖。孔庙（百石卒史碑），虽大字尚如是，其尖钩甚微，今有拓本可证。铜器字小而浅，其下钩易锈满，或范本未足，且经多年始出土，遂竟作“十七”（按：“七”字疑为“十”字之误），故凡作“十七”（按“七”字亦疑为“十”字之误）者不一。又有作“二十十”者，证之本年，皆为“七”字。此范释作“十七”，与十六年之说正合。（崇焕谨案：李竹朋先生《泉汇释》作“十六年”。案本纪“十六年始行五铢”之说，是“十七”年明甚。）
释空首布“松”字，古人文字增减挪移上下左右，惟便所适。（崇焕谨案：今世所见有“囗”、“囗”、“囗”、“囗”诸文之异。）
在中进士那年年末，新科翰林王懿荣冒着严冬寒气，返故里探亲、祭祖。隆冬时节他由京起程，沿旱路往胶东进发。一路上，王懿荣并没有急于赶回家中，因为他要一路上了解风土民情，盼想着是否能够幸运地找到金石文物。于是便产生了他的考古专著《天壤阁杂记》一书。
书中记载，他先是来到了直隶（今河北省）与山东比邻的盐山县王墅镇，得到了一块天保造像残石。天保是南北朝时期的北齐文宣帝高洋的年号（550-559），距今一千三四百年了。十二月份，王懿荣抵达故里山东福山古现村。此时父母远在四川龙安府，妻子黄兰已经过世，王懿荣只好在村里借住在本门长房的有棣堂，他幼年读过书的故地。
王懿荣家乡福山是一个文物丰富之地。古有金黄县、银福山之称。王懿荣在家乡果有收获。他首先得到的是宋拓《太清楼书谱》，这是由翁大年署端、僧达受六舟藏本。乃本县世家下土子夼鹿道台，名泽长的家中获得的。
鹿家也是福山县的望族之一。鹿泽长，字春如，嘉庆癸酉科拔贡，道光年间曾赴陕西任知县，不久升为江西吉安府知府，旋擢浙江宁绍台道。鸦片战争爆发后，宁波被英国侵略军攻陷。鹿泽长被罢官，当时闽浙总督徐继畲镌刻《瀛环志略》，便聘请他去校勘。鹿泽长精于勘舆学，这本书经他精心校勘、润色，为中国近代第一部讲述外国史地的书籍。后来，鹿家败落，家中有许多旧藏失落殆尽，还有一些旧椠本书及瓦当彝器，也被附近烟台古董商从他后人手中骗买去了。王懿荣只是听到，没有亲眼看见，感到十分惋惜。