公元976年十月十日，在赵光义、潘美（此时已是文臣）、赵普等人陪同下，赵匡胤到李煜家中看望，李煜急忙携府中上下列院跪拜。
“臣，携家眷。叩迎圣上！”
“‘违命侯’平身吧！”然后，赵匡胤对着其他家眷说道：“都平身吧！”
接着赵匡胤走在庭院中，对李煜说道：“李爱卿啊！朕的汴梁远不如金陵繁华，朕委屈你了。不知爱卿在这住的舒服？”
“臣惶恐，圣上如此善待降臣，臣不胜感激！”李煜战战兢兢地说。
“那就好，朕甚是欣慰啊！李爱卿声明大义，才使得金陵保住了啊！如果刘鋹能如此声明大义，也不至于番禹尽失火海啊！潘爱卿，朕说的可否在理？”说着赵匡胤将话锋转向了潘美。
潘美一听，立即跪倒在地，说：“圣上英明。此乃微臣之过错！”
晋王依然得知潘美与太祖的关系趋于恶化，自己拉拢这个悍将的时候到了。于是说：“圣上，臣弟认为番禹之事，潘将军亦无过，反而有功。”
赵匡胤听晋王如此一说，脸面有点挂不住了，嗔怒说道：“晋王，这是说朕不明事理了。”
“臣弟不敢！”赵光义说道。
赵匡胤自知理亏，也不在争辩，便说道：“今天就到此为止，朕有些累了，宝贵摆驾回宫！”
“圣上起驾回宫！”宝贵喊道。
看着怒气冲冲的赵匡胤离开了侯府，潘美此时已然明白：这是晋王在向自己抛橄榄枝啊！倘若太祖驾崩，凭晋王实力则是最有可能继承皇位的人选。而自己的命运只能任历史的潮流摆弄了。
话说，潘美卸除军职后，整日在家中静养，说是右丞相，实则一个虚职。赵匡胤虽然用潘美的儿子来分散了潘美的兵权，稳住了“潘家集团军”的势力。不过赵匡胤还是不放心啊！所以派人将潘美的家人全部监视起来。潘美有生之年怕见不到大宋一统天下，潘美心中的壮志之火，被赵匡胤一盆冷水浇灭了。
据说有一次，赵匡胤梦见了一场大水，自己被困在大水中，后来找相师解梦说，朝中带水的大臣将要造反，赵匡胤反复思量终于找到了带水的大臣——潘美，此时的潘美已经卸除军职，但是赵匡胤还是不放心，便将潘美囚禁在宫廷之中的武德阁，不得与外人相见。
身为晋王的赵光义，看到自己的哥哥将得力的助手已经打磨的差不多。他深知潘美渴望天下一统身为仁心，只要把潘美争取过来那皇位对自己而言，便是唾手可得。只是如今潘美被囚宫中，自己也没办法，正在苦闷之时。事情发生了转机。
而这一次，赵匡胤却给了晋王这个机会。
此时的潘美怔怔地站在原地，后背一阵发凉，因为潘美知道：“飞鸟尽，良弓藏，狡兔死，走狗烹。”“藏”是因为自己在军中的威望，现在得种种现象是在瓦解自己的威望，自己将走向“烹”的残酷啊！
赵光义看着怔在原地潘美说道：“仲询啊！圣上已不是当年那个壮志豪情的圣上了，如今皇储之争，圣上怕你这样手持军权的大臣，有异己之心啊！”
赵光义一语道破了赵匡胤的用心，潘美说道：“晋王，你我自陈桥起，一起共事，为圣上打江山，我怎会有异心嘛！”
“仲询，陈桥之人，如今在朝的又有几人？”赵光义说道。
“这……”潘美一时语噻，说道。
……