征和二年秋八月辛亥（前91年9月30日），卫太子被江充以巫蛊之祸逼死，汉武帝决定立钩弋夫人之子刘弗陵为储君，并计划令霍光辅佐。武帝令宫中画师画《周公辅成王朝诸侯图》赐给霍光，暗示他准备辅政。

后元二年二月乙丑（前87年3月27日），汉武帝于弥留之际，立刘弗陵为太子。两天后，即丁卯日（前87年3月29日），汉武帝驾崩于五柞宫，享年七十岁。三月甲申（前87年4月15日）葬于茂陵。霍光正式接受汉武帝遗诏，成为汉昭帝刘弗陵的辅命大臣，与车骑将军金日磾、左将军上官桀、御史大夫桑弘羊等人共同辅佐朝政。

汉武帝

霍光掌握了朝廷大权，帮助汉昭帝继续采取休养生息的政策，减轻税收、减少劳役，把国家大事管理得很好。但是，朝廷中有几个大臣却把霍光看作眼中钉，非把他除去不可。

霍光与同为辅政大臣的金日磾和上官安都有联姻关系。金日磾次子金赏的妻子是他女儿。另外一位辅政大臣上官桀的儿子上官安所娶则是霍光长女，有一女上官氏。

上官安打算让时年仅仅六岁的上官氏做皇后，遭到霍光反对，于是转而走盖长公主的门路，成功实现目的。上官家族为了回报盖长公主，想将其情夫丁外人封列侯和光禄大夫，也被霍光驳回。霍光此前又曾多次阻止上官家族其他亲戚封官。双方因而结怨，成为政敌。

上官桀父子联合盖长公主、燕王刘旦以及辅政大臣桑弘羊等共同结成反对霍光的同盟，假托燕王名义，趁霍光休假的时候，向汉昭帝上书，诬陷霍光有不臣之心，并内外接应，做好准备，打算一举擒杀霍光。

年仅十四岁的昭帝识破了他们的阴谋，不予理睬，并安抚霍光，且下令追查上书人的来历。后来，汉昭帝还下令，如有人上书毁谤霍光者，必追究到底。

上官桀等人见无法从昭帝处下手，便决定发动政变，杀霍光，废黜昭帝，立燕王为帝。但计划泄漏，霍光族灭上官桀父子和桑弘羊，盖长公主和燕王旦自杀。此后，霍光成为朝政实际上的决策者。

在昭帝时期，霍光得到汉昭帝的全面信任，因而得以独揽大权，他采取休养生息的措施，多次大赦天下，鼓励农业，使得汉朝国力得到一定的恢复。对外也缓和了同匈奴的关系，恢复和亲政策。

这段时期和后来的宣帝时期，合称昭宣中兴，史家认为，西汉自文景之治后被武帝穷兵黩武政策所耗空的国力，在这段时间得到了恢复。

元平元年夏四月癸未日（前74年6月5日），汉昭帝驾崩，他没有儿子。霍光迎立汉武帝孙昌邑王刘贺即位，但二十七日之后就以淫乱无道的理由报请上官太后废除了他。

霍光同群臣商议后，决定从民间迎接武帝曾孙刘病已（后改名刘询）继承帝位，这就是汉宣帝。霍光与伊尹效法殷商伊尹，行废立天子之事，从此后人合称为“伊霍”。

汉宣帝即位初，霍光表示要归政于帝，但宣帝没有接受，朝廷事务的决策仍先经过霍光过问再禀报皇帝。宣帝对霍光表面上很信任，但内心十分忌惮，与之同车时“若有芒刺在背”。霍光本人功高震主，为后来的全家族灭埋下了祸根。

汉宣帝即位后，没有依照群臣提议立霍光之女霍成君为皇后，而是委婉的以寻故剑的名义，表示要立自己的元配妻子许平君为皇后。霍光没有反对，但以许皇后父亲许广汉受过宫刑的缘故，反对汉宣帝依照汉朝惯例封后父为列侯。

霍光的继室显对女儿没有成为皇后不满，背着霍光，趁许皇后生产的机会，买通医生淳于衍，毒死了许皇后。许皇后死后，宣帝追究医生责任，淳于衍下狱受审，显害怕而向霍光坦白了此事。

霍光惊骇之余，想要追究显的责任，但最终还是碍于夫妻情分替她掩盖了过去。霍成君最终被立为后。 

地节二年春三月庚午（前68年4月21日），霍光病重逝世，临终上书请分自己的封邑三千户给其侄孙霍山，以继承其兄长霍去病的香火。

诛灭霍氏

霍光死后，宣帝开始亲政。此时霍禹为右将军，霍山以奉车都尉领尚书事，霍氏一门仍十分显赫，广治第室，奢侈无度。

为削夺霍氏权力，宣帝采取了一系列措施：首先，亲自处理朝政，五日一听事，并下令凡吏民奏事不通过尚书，直接向皇帝报告。

其次，封太子的外祖父许广汉为平恩侯，许广汉的两个弟弟，一封为博望侯，一封为乐成侯；又令与霍氏有隙的御史大夫魏相给事中。

最后，将霍氏家族调离实权位置，如迁霍禹为大司马，无印绶，罢其右将军屯兵官署；将霍光长女婿邓广汉由长乐卫尉调任少府；女婿、度辽将军、未央卫尉范明友调任光禄勋，不久后，又收其度辽将军印；次女婿、诸吏中郎将、羽林监任胜调出京城，任安定太守；霍光姊之女婿张朔由给事中、光禄大夫调任蜀郡太守；收中女婿赵平骑都尉印绶，调任散骑都尉、光禄大夫，赴外地屯兵；孙婿、中郎将王汉调任武威太守。

霍氏家族诸将从前统领的胡越骑、羽林及两宫卫将屯兵，全部改由宣帝亲信的许、史两家子弟统领。

霍氏不甘心权势被削，遂密谋借机杀平恩侯许广汉和丞相等人，再以太后名义下诏废掉宣帝而立霍禹。地节四年（公元前66年）阴谋败露，霍云、霍山自杀，霍禹等人皆腰斩、弃市，霍皇后被废处昭台宫。与霍氏相连坐诛灭者数千家。