任的奉车都尉，还有兵权，霍光的两女婿直接领有宫廷禁军，外加许多外戚都得到官职，事实上形成了一个规模庞大、实力雄厚的霍氏集团，霍光成为了事实上的统治者 。
元平元年（前74年），汉昭帝刘弗陵驾崩，没有继承人。
先帝刘彻六个儿子中只有广陵王刘胥还在世，各大臣都主张立广陵王，但广陵王因行为有失道德，未被先帝选中。
于是，霍光等人迎立汉武帝的孙子、昌邑哀王的儿子刘贺为帝。
然而，刘贺登上帝位后行为淫乱，且急于用昌邑王属地群臣取代中央政府廷臣。
霍光担心其危及国家，便同群臣一起谒见太后，阐述昌邑王的情况，之后派人将刘贺的群臣全部驱逐出宫，又安排人看守刘贺，以防他自杀。
不久，太后下诏召见刘贺，霍光和群臣联名奏劾刘贺，为不使其干扰国家政令，将刘贺迁回昌邑。
之后，曾在汉武帝末年接触过武帝太子刘据家人的光禄大夫丙吉，劝告霍光拥立时年十八岁的前太子刘据的孙子、武帝曾孙刘病己（后改名刘询）为帝，认为新皇帝要熟悉民间疾苦，且“通经术，有美材，行安而节和”。
霍光觉得有道理，便与丞相杨敞、车骑将军张安世等大臣一同上奏皇太后，立刘病己为新帝，即汉宣帝。
汉宣帝即位初，霍光表示要归政于帝，但宣帝没有接受，朝廷事务的决策仍先经过霍光过问再禀报皇帝。
宣帝对霍光表面上很信任，但内心十分忌惮，与之同车时“若有芒刺在背”。
霍光本人功高震主，为后来的全家族灭埋下了祸根。
霍光前后辅政二十年（前87年 - 前68年），他奉行汉武帝轮台诏书的政策，遣使者问民疾苦，平反冤狱；重农桑，轻赋敛，招集流亡，资助农民进行生产；罢冗官，省费用，减轻百姓负担。
他不负武帝重托，平定了燕王刘旦、左将军上官等谋废帝的乱局，使汉武帝末年的社会矛盾缓和下来，社会经济得到了恢复和发展。
在昭帝时期，他得到汉昭帝的全面信任，独揽大权，采取休养生息的措施，多次大赦天下，鼓励农业，使得汉朝国力得到一定的恢复，对外也缓和了同匈奴的关系，恢复和亲政策。
这段时期和后来的宣帝
