惟霍光自是器重文人，正好当时谏大夫杜延年，请修文帝遗政，展示文帝爱民品德，勤俭节约宽度待人。在此同时霍光借此机会也指示杜延年将隽不疑的先进事迹篇造成册，发至全国号召全国各级官吏向隽不疑学习，并要求各级官吏深入基层，深入群众，访贫问苦，且举贤良。陈述国家利弊，发扬光大，革除弊端，轻徭薄赋与民休息，使全国人民过着幸福的日子共庆太平！
上官桀无理争权，失利就反，寻倒霉
车骑将军金日，由武帝遗诏封为耗侯。金日以嗣主年幼未敢受封，谁知到了始元三年（前84）天不暇年，日禅遂生重病。霍光见状后急着在昭帝跟前讲明上述情况，并要求昭帝授他侯封，果然日禅只能卧受印绶了，事后才经一日便即去逝。时有两子一名赏，一名建，皆幼弱，由昭帝拜赏为奉车都尉，建为附马都尉，昭帝并常召两人入宫作为伴侣，与同卧起。
越年昭帝封霍光为博陆侯，上官桀为安阳侯。匆匆间已是始元四年了，昭帝年已正十有二了。上官桀有子名安，娶得霍光女为妻，生下一女，年甫六岁。安想把她纳入宫中希望为后，偏霍光不同意，他认为女儿年龄实在太小不合入宫。上官安只好扫兴而归。但还在翻来复去地想，认为机会难逢。既然岳父不同意，不如改求他人去，想了好久竟得想出一法，他跑到盖门侯门客，丁外人家，投刺进见。丁外人何许人也，本是在盖长公主家一个仆人。因丁外人生性狡猾，偏被盖长公主瞧着，意动淫心。本中年守寡，男女有情则自然奏合成双。这事虽也曾有人告知了霍光，但霍光当时是认为，保护了少帝，能照顾好少帝的生活是大事，基于作风上的问题，无关紧要。尤其是盖长公主事实上是中年守寡，也是难免的事情，所以不仅没有制止，反索性叫了丁外人一齐入宫，好叫公主一心一意事昭帝。那上官安也正是掌握了这一点，才去游访丁外人，托他入语公主，代为玉成。对于这样一个事情，丁外人一听也觉得蹊跷，不如乐得卖个人情。于是就在盖长公主面前推荐上官安的女儿纳为宫嫔。公主原来的本意是想将故周迫侯赵兼的女儿配与昭帝。今听了情夫的话语，也只好舍己从人。便召安女入宫，封为婕妤，未几立为皇后。上官安也被超迁，居然成为车骑将军（恐盖长公主所封）。因此，上官安打内心感激那丁外人，便思也替他谋求侯爵，一次谒见霍光，力言丁外人勤顺恭谨可封为侯。霍光本来对上官安的女儿为后都不赞成，不过事由内出不便固争，且究竟是个外孙女。现在又提到要为丁外人封侯，那却是大违汉例了。任凭上官安说得怎样天花乱坠，终是不依。上官安拗不过霍光，只好请诸乃父去与光熟商。
霍光与上官桀齐同辅佐，并齐时封侯，又是儿女亲家。故从事议事确实毫无龃龉，只是丁外人封侯一事，就是桀出面说话，光始终坚持原则未允。桀乃又降低标准相求，说不封侯就给他任个光禄大夫吧！光还是忽然说：“丁外人无功无德，如何得封官爵，愿你不要再讲这个事。”桀得到的回答竟又是这样，便觉得怀惭。但又总不便将丁外人所给自己的好处据实说明出来。从此，桀安父子俩与霍光的矛盾即生成了，并隐成了仇隙。
桀安父子为了丁外人没有封侯恨及霍光。就是盖长公主得知此事，也怨霍光不肯通融，纵致情夫向隅无从贵显。于是他们内外联合，视霍光为眼中钉，忽由昭帝自己下诏，加封上官安为桑乐侯，食邑千五百户，霍光听知后，认为好算是常例，固不为阻拦。谁知那个上官安却好乘此骄宠自大，当时有太医名叫监充国，无故入殿被拘下狱，充国为上官安外祖母所宠爱。当由他的外祖母出面向上官安父子讨情。上官桀真的又出面见霍光，请给充国赦罪。霍光也是不许可。最后监充国经廷尉定罪应处死刑，急得上官桀仓惶失措，只好秘密地要求益长公主代为设法，公主乃替充国献马二十匹，赎罪免死。因此上官桀父子更是感念盖长公主的德惠，独又与霍光增添了一种深仇。
上官桀总在想，从前职位不亚霍光，现在父子并为将军，孙女为皇后，声势赫显，偏事事为光所制。越想越气，觉得很是不平，于是当下就秘密布置，拟定广结内外官僚与霍光对立，好把他乘隙除去。正好这个时候燕王刘旦不得帝位，常怀怨望，还有御史大夫桑弘羊因霍光撤销摧酷官，子弟等多数失职，与霍光也产生了看法，上官桀得知两人的隐情，便一面就近联络桑弘羊，一面遗使往燕勾通燕王旦，两人统皆同意同谋，故串通一气。再加上盖长公主作内援，端的是表里有人，不怕霍光不入网了。
不久，霍光要去广明校阅羽林军。上官桀认为时机已到，抓住这个机会立即与桑弘羊熟商，准备趁此发难，但急切无从入手，考虑了老半天，果然想出了一个办法，不如假写一份燕王刘理的奏书，劾霍光过恶，便好定罪，商议已定，当由桑弘羊代写一书，拟就即将呈入。不料霍光已经回京，怎么办呢？还是上官桀想得到，待霍光回家休息，方得拜本进去。是年已改年为五风元年（前75），昭帝已有十四岁。接得奏书，见是燕王刘旦署名，大意是诬霍光校阅羽林军一路威风吃喝欺民，而有功的不封，无功的反授封。见此霍光是专权自恣，恐怕有其他不好的谋予。说刘旦要求要进京入宫宿卫，确保皇帝的安全，并强调事关紧急需迅速作出决定。昭帝看了又看，想了多时，竟将书搁置，并不颁发出去，上官桀等候了半日毫无动静，不得不入宫探问，昭帝只是微笑不答。翌日，霍光进去听到说燕王刘旦有书列举他的罪过，不免心里产生恐惧，乃往殿西的画室中座下等待消息。少顷昭帝临朝，左右一看都到齐了，单不见霍光，便问大将军何在？上官桀应声道：“大将军被燕王弹劾，故不敢入。”昭帝立即命左右召入霍光。霍光至帝前跪伏，免冠谢罪，但听得昭帝说：“将军尽可戴冠，朕知将军无罪。”霍光且喜且惊，便抬头问道：“陛下如何知臣无罪。”昭帝说：“将军至广明校阅，往返不到十日，燕王远居蓟地，怎能知晓？且将军又如何异谋，何必需用校尉。这明明是有人谋害将军，伪作此书。朕虽年少，何至这般愚蠢！”霍光听了非常感慨，不禁佩服，此外一班文武百官都不能料如此幼主独能察出中间情弊，这时上官桀和桑弘羊怀着鬼胎，尤为惊慌。待至霍光起身就位，昭帝又令将上书人拿究，然后退朝。上书人就是上官桀和桑弘羊差遣出来。一听到命诏，当即跑到这两家避匿去了，偏昭帝连日催促务必迅速查办。上官桀又想一个办法，他便找到昭帝说：“此乃小事，不足穷究。”昭帝不从，桀才忧恨交迫，又只好嘱侍诉说霍光的罪恶，昭帝发怒说：“大将军是当今忠臣，先帝嘱使以辅佐政务，如再敢说妄非，便当处罪。”内侍吓得溜之大吉。
内侍碰了钉子再不敢提起了，只好回复上官桀。桀看来诬陷霍光不成就索性想出了一个毒谋，与子安密议多次，竟拟先杀霍光废昭帝，再迎入燕王旦；接着又去找盖长公主商定，要盖长公主设席请霍光饮食，在其时伏兵行刺。盖长公主倒也接受。上官桀再遗人通报燕王，叫他预备入都。燕王刘旦得到通知大喜过望，立即复书上官桀，保证如约，并表示事成当封桀为王，同享富贵。不过他与燕相平商议了一下，平即谏阻说：“大王前与刘泽结谋，泽好夸张，又喜侮人，遂致事前发觉，谋泄无成，今左将军素性轻佻，车骑将军年少骄姿，臣恐他与刘泽相似，未必有成！就使侥幸成事也未免反背大王，愿大王三思而后行呢？”刘旦听后不从，且驳说道：“我乃先帝长子，天下所信，何至虑人反背哩！”平乃无言而退，又过了数日刘旦又对群臣说：“近日盖长公主密报，谓欲与大事，现在主要防备的是大将军霍光和故石将军王莽（此王莽与后文的王莽同名不同人）今为将军金日已经去世，丞相又病重，正好乘机发难，事必有成。不久便可召我进京，你们应速办理好行李，毋误事机！”众臣只好听命，偏天象告警，燕都里时有变异，忽然大雨倾盆，有一虹下井，井水忽然全干涸，忽有乌鹊争斗坠死池中，下流星、折树木，发明火噪殿门。宫内宫女无不惊惶，刘旦亦吓得成病。有门客吕广入说：“本年恐兵马围城，汉廷且有大臣被戮，祸在目前了。”刘旦听后失色道：“谋事不成，妖象屡见，兵气且至奈何？”正忧虑间，忽有急报从长安来，乃是说：“上官桀父子逆谋败露，连坐多人，并燕使孙纵之等均被拘住。”刘旦吓出一身冷汗，力疾起床再遣心腹人探听确音，果然不虚。
原来盖长公主听了上官桀的计谋，欲邀霍光饮酒，将他刺死，桀父子坐得成功，并预备庆贺，有党人私下对上官桀的儿子上官安说：“君父子行此大事，将来如何处置皇后。”安勃然说：“逐鹿犬还来及得兔么？”说着大笑不止。不料谏议大夫杜延年竟知道了这些阴谋事，他便去报告了霍光，遂至数载经营一朝失败！这杜延年的报告是从搜粟都尉杨敝处得来，杨敝由燕巷传闻，巷以前是充当稻田使者，已解职闲居，独有一子为盖长公主舍人，道德窥患，辗转传达遂被杜延年知道了才去告发。
霍光一听到这个消息后，自然立即告白昭帝。昭帝随即便与霍光商量，密令丞相、田千秋，迅速捕逆党不得延误。于是丞相以召集各大臣至宫议事为名，先去诡邀上官桀引入府门，传诏斩首。丞相少史王寿也如法炮制，再去诱入上官安，一见面二话不说一刀杀死，至此上官桀父子已经伏诛，然后冠冕堂皇，派遣相府吏役，四处缉拿御史大夫桑弘羊，弘羊无法脱身，束手就缚，也做了刀下鬼。那盖长公主闻变自杀。丁外人当然捕诛。苏武的儿子苏元对此事也有牵连，亦与伏诛。所有上官桀党羽悉数捕戮。乃追捕燕使孙纵之等拘捕狱中。特派使臣持了玺书交付燕王刘旦，旦未接朝使先得急报，尚召相平入议，急欲发兵。平答道：“左将军上官桀已死，毫无内应，吏民都知道，京城所发生的事，再去起兵恐大王家族都难保了。”刘旦这时也觉得发兵是无济于事了，乃在万载宫设席，外宴群臣，内宴嫔妃，酒入愁肠，愈觉无聊，作歌论语了一番后，刘旦欲自杀。但左右尚上前宽慰，妃妾更上前哭泣加拦阻，不一会儿朝使已经到来，刘旦只得出迎朝使，朝使入殿面交玺书，由刘旦展开一看，阅毕将玺书交付近臣自悲自叹道：“死了，死了。”遂用绶带自缢。妃妾等从死二十八人，朝使即日返报昭帝，赐刘旦为刺王，赦免刘旦子，废为庶人，削国为郡。就是盖长公主子文信，亦撤销侯封，惟上官皇后未曾通谋，且是霍光的外孙女，因得免议。封杜延年、燕巷任宫，王寿为列侯。杨敝既为列卿，不即告发，无功可言，故不得加封。另拜张安世为右将军，杜延年为太仆，王沂为御史大夫。乃由霍光秉政如初，一切恢复正常。
爱国忠臣苏武
始元五年底（前82）匈奴狐单于病死，遗命说：“嗣子年幼，应立弟右谷蠡王。”偏阙氏端渠与卫律密谋企图隐瞒狐单于的遗命，竟立狐鹿如的儿子壶衍革为单于，并召集诸王祭拜天神。这样一来右谷蠡王及左贤王等不服幼主，从而拒绝阙氏端渠的召集，那端渠阙氏对此早就有预料，固方有戒心，心里面也害怕内乱外患相逼到来，乃急着提出要与汉廷和亲，所以就派出使者前往汉廷通问，汉廷亦遣使相报，首先提出要索回苏武、常惠等人方准言和。
匈奴人安排苏武在北隅放羊已经十有九年了，是汉武帝天汉元年开始的。开初，卫律屡次逼迫苏武投降。苏武执意不从。至李陵降胡，匈奴封陵为右板王。并要李陵去到北海见苏武劝武降胡。苏武与李陵向来交好，苏武未便拒绝李陵的见面，所以李陵多次去找了，每次都能相见。两人一见面，就重叙旧情，好在李陵带有酒食，便摆设出来，对坐同饮，借以胡乐。饮至半酣，李陵故意问苏武状况，苏武唏嘘地说：“我偷生居此，无非就是希望再见到主上一面死也甘心！历年以来我吃尽了苦头，好在单于的弟弟于郸代谢海上怜我苦节，给我衣食，才得免死至今。今于郸王逝世，丁灵人复来盗我牛羊，又遭到他的毒打，不知此生果能重归故国否？”李陵乘机进言对他说：“单于听说陵与君惯善，故特要我来劝君，君试想身居此地，徒受困苦，虽然心里有对祖国的忠义，但是有何人知道哩？且君的长兄苏嘉曾为奉丰，有司即诬他大不敬罪，迫令自杀；君弟苏贤为骑都尉，正管理河东的时候，正好一官骑与黄门争船，黄门驸马被官骑推坠河中，被水溺死，主上令君弟去捉拿官骑，那官骑早已逃之夭夭。君弟考虑不好去向上交帐，又恐得罪主上，一气之下便服毒身亡。太夫人已经去世，尊夫人听说已经改嫁。独还有二个妹妹，生有二女一男，现在存亡亦未可知。人生如朝露，何徒自寻苦吃呢！陵败没胡廷，起初亦忽忽如狂，自痛负国。且听说母妻尽被拘系，更觉得伤人，后听说朝廷不察苦衷，屠戮陵家，使陵无家可归了，不得已留居此地。现在你家亦已亡，还有何恋？不如听从陵言，毋再于拘。”苏武听得母死妻嫁，兄殁弟亡，禁不住涔涔泪下，惟誓死不肯降胡。因此忍泪回答李陵说：“武父子本无功德，皆出主上成全，位至将军，爵至通侯，兄弟又并侍宫禁，常思肝脑涂地报答主恩。今得杀身自效，虽然我的一切都完蛋了，但我还是想要坚持这样做，诸将军不要与我谈这些话语。”至此李陵见不可劝依，只好暂且忍住，但与苏武饮酒闲谈，今日饮毕，明日复饮，约莫有了三五时陵即席开口道：“你何妨竟听陵言。”武慷慨地答道：“武已经很久就想过，哪怕是死也是坚持这种观点不会变，君如果必须想我降的话，我愿意就今日作为最后一天的欢乐，可以马上死在此席前！”李陵见他这样说话诚挚，不禁长叹道：“呜呼义士！陵与卫律罪且通天了！”说着泣下沾襟，与苏武别去。
接着李陵便要胡妇出面，赠给苏武牛羊数十头，又劝苏武纳一胡女为嗣续针。苏武曾记着李陵的话，得悉妻嫁子离恐致无后，因此也就权从陵意，纳入胡女一人，聊慰孤寂。在以后的日子里，凡是汉廷武帝训问到苏武情况时，李陵都会向苏武报告，苏武只有面向南面发出悲号感情。
到了匈奴易主，与汉修和，中外使节往来频繁。但苏武却全然不知。当汉使向匈奴提出索还苏武等时，胡人却诡言苏武已死。幸亏常惠得知消息，设法勾通了管理俘虏的吏人，夜见汉使说明底细，且附身密谈，告诉汉使要怎么去做工作，才能达到目的。汉使点头表示一一受教。送别常惠，第二天，汉使就去见单于，指名要索回苏武。壶衍革单于尚答说道：“苏武已经病死好几年了。”汉使便作色道：“单于你待相欺，大汉天子在上林中射得一雁，足上系有帛书，乃是苏武亲笔，说曾在北海中。今单于既欲言和，奈何还想欺人呢？”这一席话说得单于矍然失色，吃惊地向他的左右说：“苏武忠节竟感动了鸟兽么？”乃调转头来向着汉使表示歉意说：“武果无恙，请你们勿怪！我当释令回国便了。”汉使趁势进言道：“既蒙释回苏武，此外如常惠、居宏诸人亦当一律放归，才可再敦和好。”单于又即允口汉使才退。