两个多月之后，秋风已起，在未央宫宣室殿外高高的门阙下，大将军卫青看到了自己多日不见的外甥，他们今天同被皇帝陛下召见。
这两个月里霍去病根本没有在长安城里露面，他一直以练兵为由住在城外的军营，如果不是这次圣上宣召，今天也不会回城。由于是从营中直接赶来的，他仍然身着戎装，只不过不是重甲，而是皮质的轻甲，更衬得人神采奕奕。
卫青欣赏地打量了一眼自己的外甥，虽然没见面的时间并不算太长，但是如同从前每次一样，他觉得这个外甥又有了变化：面庞还是非常俊秀，身姿还是非常挺拔，但眉宇间的神色更加成熟了。卫青心中明白，外甥这次耀眼的军功和陡然的封侯，带给长安城里所有人的冲击都是巨大的，有人震撼、有人仰慕，也有人议论、有人不平……很多人的心态都因之发生了变化，每个人再次见到这个年轻人时都要重新调整自己的态度。
霍去病此前也早已闻名长安城，但那是因为他是皇后和大将军的外甥，是备受天子宠爱的晚辈，是因为他外表英俊、骑术精湛、武艺高超，蹴鞠本领也在贵戚公子中首屈一指，曾在长安城里出尽了风头。此外，他刚刚从军时就被破格任命为票姚校尉，当时很多人对这种裙带任命非常不满，贬抑之词一度大行其道，无形中也让他的知名度更高了。而此次一战封侯之后，那些风头也好、风凉话也好，都已经不算什么了，很多人已经意识到，一颗新的将星冉冉升起了。
在这种局面下，主角本人选择了匿迹军营之中，倒也不失为一条上策，也符合他那个一向颇为高傲的性情，今天他是不得不来的，好在到了今天，长安城里最初的冲击已经基本上平复了。
外甥这个高傲中又带有些桀骜不驯的性格，卫青知道得很清楚，因为对方自幼便是如此长大的。
卫青的出身十分卑贱，他的母亲是平阳公主府中的女仆，他则是个私生子，亲生父亲另有家室，他从小不被接纳，只得跟随母亲在平阳府为奴。当今皇后卫子夫是卫青同母异父的三姐，曾经是平阳府里的歌伎，而霍去病的母亲卫少儿，则是卫青同母异父的二姐，原本是平阳府里的舞伎。卫少儿在年仅十六岁时，与来自平阳县的一个姓霍的小吏有了私情，后来生下了霍去病，然而人家却没有打算娶她，而是不辞而别了，所以霍去病出生时也是一个低微而且不光彩的私生子。
但是在霍去病一岁多的时候，卫氏一门的命运出现了巨大的转折：天子在平阳公主的安排下遇到了卫子夫，带回了宫中。两年之后，卫子夫已然成为盛宠在身的卫夫人了，全家人也跟着一起富贵起来，弟弟卫青被任命为建章监，大姐被指婚给了太仆公孙贺，二姐卫少儿也被指婚给了詹事陈掌。
公孙贺和陈掌都是不折不扣的世家出身，前者是平曲侯的儿子、自身也建有军功，后者更是开国元勋陈平的后人，所以这种联姻，不是人家真的不在意卫氏姐妹的出身低微，而是人家更看重联姻之后的巨大利益，图的是拉近与天子之间的关系。而卫氏姐妹骤然嫁入这样的人家，处境虽然说不上多么艰难，却也不可能是毫无尴尬的，就说卫少儿吧，人家虽然娶了她，却没有表态要接纳她的那个小拖油瓶，所以霍去病并没有正式地跟着母亲进入陈府，也因此他就继续姓霍、并没有改姓为陈。
像这世间所有既没有父系亲族的庇护、又没有跟着母亲再嫁的孩子一样，小霍去病的大多数时间是住在外婆和舅舅家里的。他一共有四个舅父，其中与他的母亲同父同母的只有大舅，按照风俗老人与长子同住，所以霍去病的外婆家，也就是他的大舅家。
虽然身边没有父母，但小霍去病并不是个没有人疼的孩子，他在外婆家里得到了足够的照顾和宠爱。他们当时是个热闹的大家庭，二舅三舅四舅都还没有结婚，都住在一起，舅舅们都待他不错，而且这一家作为天子宠妃的娘家，生活也称得上是锦衣玉食，小霍去病的吃穿用度，一切物质条件都是很优越的。
然而，在这个外戚之家里面，还是欠缺了一种文化氛围，毕竟是骤然富贵起来的一家人，几年前还是奴仆呢，连像样的教育都没有受过，更不可能有什么家族里的文化传承。这个家族中的大多数人，虽然疼惜照顾小霍去病，却谈不上在精神上给他带来什么样的影响，卫氏家族里真正在精神层面上影响了小霍去病的，只有他的二舅卫青。
卫青与卫少儿并不是同父所生，按理说小霍去病跟这个二舅并不会比跟大舅更亲密，但实际上他从小最喜欢的却是这个二舅，他待在外婆家里时，总是有一种感觉，好像自己与周围所有的人都格格不入，是完全不一样的人，只有当二舅回来时，这种感觉才会消失。
在他七岁之前，二舅卫青还没有结婚自立门户，虽然大多数时间都在宫里当值，但是下值之后还是要回到母亲和兄长这个家里来的。每当二舅回来了，就是小霍去病最兴奋的时候，跟着这个二舅舞刀弄剑、乃至外出跑马，都是他小时候最喜欢做的事情。仅从称呼就能看出他们之间的亲密程度：对于其他几个舅父，他的称呼一向都是“大舅父”、“三舅父”、“四舅父”，而对于卫青呢，只有在必须有所区分的场合，他才会称呼他为“二舅父”，在只有他们两个人的场合，这个称呼往往就被简化为“舅父”二字了，其他的舅舅们可是谁都没有这个待遇。
卫少儿在陈府站稳脚跟之后，也经常会把自己的儿子接过来住上几天，但小霍去病在母亲家里的感觉是不会太好的，并不是陈掌不待见他，陈掌的为人还是不错的，只是作为开国功臣的后人、秩比两千石的高官，陈家所来往的姻亲故旧全部都是名门贵族，在这些子弟中，小霍去病的出身就显得分外扎眼了。
卫青记得，虽说从小就受排挤，但是去病这个孩子的心气极高，从来看不上恃强凌弱那一套。有一回大约是他五岁的时候，有两个六七岁的孩子欺负一个三四岁的小孩，去病就把那个小孩叫到自己身边，带着他玩了一天。当卫青问他为何这样做时，他的回答是：“我才不欺负比我小的，要欺负就欺负比我大的！”
卫青当时不由得失笑，保护弱小固然是男儿分所当为，但这也是他第一次从外甥口中听出那股隐隐然的傲气。
对霍去病而言，开始的那几年还好，姨母只是一名宠妃而已，舅父只是一个太中大夫而已，而自己也只是陛下喜爱的一个小孩子而已。他的出身虽然被世家子弟们轻视，但还是有少数孩子愿意跟他一起玩，因为他至少算得上是个很好的玩伴。他从很小就知道，不论学什么，自己随随便便看一眼就会了的，别人可能要花很长时间都不见得学会，不论玩什么，自己在哪一队，哪一队就几乎不会落败。另一方面，他也从小就发现，自己的聪明对别人而言并不是那么喜闻乐见，所以他也很早就知道要隐藏自己的聪明。
小霍去病感受到自己被全面地、彻底地、有意识地排挤，是在他十一岁那年。那一年匈奴袭犯上谷，二舅卫青以车骑将军的身份率领一万骑兵出征，奇袭了匈奴人的祭天圣地龙城，将其付之一炬，并且首虏七百人。这个胜利的意义非常之大，因为这是汉朝对匈战争七十三年以来取得的首次重大胜利，卫青也因此被封为关内侯。而这次同时出征的其他三路人马，公孙贺无功而返，公孙敖折兵七千，李广则全军覆没、自己还被匈奴俘虏、后来凭借一身勇力才得以侥幸脱逃。
现在问题来了：世家名将，打了多少年都没能打出来一个像样的胜仗，而骑奴出身的卫青呢，给他一个机会，他就闪光了！这让皇帝和所有人怎么想？
以前世家贵族们看不起卫青，是认为他只是一个凭借裙带关系得宠的内臣，而龙城一战之后，他变成了一个能熄灭他们头顶光环的竞争对手！本来天子就一直在找机会削弱权贵阶层的势力，只是由于匈奴的持续威胁，他只能倚重这些宿将，在很多事情上不得不妥协，而卫青的飞速崛起，简直是拿走了这些人和天子讨价还价的最重要筹码！所以，原来他们仅仅是看不起卫氏，现在则平添了嫉妒与恨意。
这一年的某一天，当小霍去病又要跟这些子弟们一起蹴鞠的时候，就有一个为首的大孩子说话了：“不带他玩，奴婢的私生子不能跟我们一起玩！”
当时霍去病愣住了，只觉得一股烈焰猛然从胸中腾起，他怒目看向那个孩子，“你敢再说一遍吗？”
那个孩子指着他的鼻子，一字一顿地又说了一遍，“奴婢的私生子不能跟我们一起玩！”
小霍去病不顾一切地冲上前去，第一拳打破了对方的鼻子，第二拳打青了对方的眼睛。
当然这场打架的最终结果是不问可知的，对方人多，他被群殴得浑身青紫。不过，不管别人怎么拥上来围殴，他始终扯住那个为首的不放，下手之重、气势之狠，最终让这个孩子不但被他打得爬不起来，而且真的被他打怕了，往后好几年见到他都是躲着走的！打架时碰到一对多，这确实是最好的战术了，对他来说，这点道理根本用不着人教。
这件事小霍去病并没有跟家里说，既没有告诉母亲，也没有告诉外婆和舅舅们，不过他们久而久之还是知道了。家人们只是看到，这孩子越来越多地一个人玩耍，不是舞刀弄剑就是练习蹴鞠，他们看不到他的内心，他的内心里已经跟世家子弟们彻底决裂了！从此，他不再出现在贵族子弟们的蹴鞠场上，而是选择了民间的永昌里。
第二年，情况愈演愈烈，卫夫人诞育了皇长子，圣上废掉了原来的陈皇后，顶着所有臣僚的反对，将卫夫人立为皇后。一个出身卑贱的歌伎，最多当个宠妃也就罢了，居然还真的当上了皇后？还要接受所有命妇们的跪拜？这让所有的名门闺秀情何以堪？从那之后，世家中的女人们也开始口出恶言了，就连坊间的歌谣里，都有了“卫子夫霸天下”的说法。
霍去病不知是谁编造了这些歌谣，但他能体会到这些人的用心恶毒不堪，姨母明明是个温柔缄默的女子，试问她哪来的“霸天下”之心？她有这个能力吗？出身高贵的皇后，哪怕是像陈阿娇那样骄横跋扈的，都有的是人同情与歌颂，姨母忠心耿耿地侍奉陛下，为陛下生儿育女，她犯过任何错误吗？为什么却要遭到如此的丑化？
再一年，卫青一举收复了被匈奴盘踞多年的黄河河套地区，战功彪炳；又过三年，卫青被拜为大将军，位极人臣……这几年来，霍去病亲眼目睹了自己出身低微的家族，一步步地站上了帝国的舞台中央，同时也越来越深刻地感受到了来自世家权贵的深深敌意。
从十一岁那年退出了贵族子弟们的蹴鞠比赛，三年多的时间过去了，他才再次出现在了贵族子弟的蹴鞠比赛中，因为那次比赛的地点就在未央宫里的鞠城，是庆祝圣寿的节目之一，圣上也亲临观战，侍从在左右的他不可能找到避开的理由，也就索性不避了。
在这次复出之赛中，他进行了一场令人难忘的个人表演，用绝对一边倒的大比分，狠狠地扑灭了所有人的气焰。然后呢，这类比赛再想请到他就不容易了，拒绝的理由也很简单：“跟你们玩儿没意思，像陪小孩做游戏一般，你们那还能叫对抗吗？”