汉宣帝即位之初，朝政掌握在霍光手里。西汉武帝起，实行“中外朝”的行政改革，中朝就成为当时西汉中央政府的决策机构，而中朝的首领大司马大将军也就成为仅次于皇帝的最有权势的官员。汉武帝临去世前，曾下诏命当时的奉车都尉霍光，为大司马大将军，受遗诏辅助昭帝进行统治。昭帝即位时年方8岁，身为大司马大将军的霍光也就成为朝政的最高主持人。特别是几年之后，霍光消灭了和他争权的上官桀集团，西汉朝廷成了霍光的一统天下。他的权势和声望，在废除了刘贺的帝位，拥立汉宣帝之后，达到了无以复加、登峰造极的地步。
汉宣帝就是在这个时候登基做了皇帝。他一即位就明显的感觉到了朝廷内部来自霍光集团咄咄逼人的政治压力。有着丰富生活阅历的汉宣帝心里明白自己刚即位，身单势薄，仅凭着一个皇帝的称号是不能和羽翼丰满的霍光相抗衡的。他需要的是忍耐，是时间，只有保持最大的克制，逐渐发展自己的势力，寻求有利时机，才能夺回属于自己的最高统治权。所以在即位伊始，当霍光故作姿态表示要还政与他时，汉先帝非常“诚恳”地回绝了，他明确表示非常信任霍光，欣赏霍光的才能，请霍光继续主持朝政，并当众宣布，事无大小，先报请霍光，然后再奏知他本人。事后他还专门下诏褒奖霍光的援立之功，益封七千户。每次上朝，汉宣帝都给予霍光以极高的礼遇。18岁的汉宣帝，在他即位之初就表现出灵活的处事策略和机智的斗争手段。
汉宣帝即位后的第六年，霍光去世了。汉宣帝亲自参加了葬礼，按皇帝葬制的规格埋葬了霍光，并加封霍光的侄孙霍山为乐平侯，以奉车都尉的官职领尚书事。与此同时，汉宣帝认为时机已到，开始亲理朝政。他重用原御史大夫魏相，提拔为丞相。继而任命邴吉为御史大夫，又委以他的岳父平恩侯许广汉以重任，逐渐把权力收归到自己的手里。
汉宣帝加强君权的措施必然引起当权的霍氏集团的抵制，所以在汉宣帝亲政之后，与霍氏集团多次发生冲突。
最初冲突发生在汉宣帝的亲信魏相和霍家之间。两家家奴为了争道发生了冲突，霍家的家奴仗势欺人，赶跑了魏相的家奴，砸烂了马车，一直闹到御史大夫府上……
不久，霍光夫人毒杀许皇后一事案发，使得汉宣帝和霍氏集团之间的矛盾迅速激化。原来在汉宣帝即位不久，朝廷内部就张罗着立皇后，当时霍光有一个小女儿年纪与汉宣帝相般配，一些趋炎附势的大臣在霍光夫人的指使下，鼓噪着要立霍光的小女儿为皇后，不断对汉宣帝施加压力。但在这件事情上，汉宣帝表现出自己的独立人格，将自己在民间的原配夫人许君平立为皇后。为此霍光的夫人记恨在心，产生了要谋害许皇后的想法。许皇后死后不久，霍光又一手包办，把他的小女儿迎进宫去，立为皇后。这样一来汉宣帝也越发怀疑许皇后的死与霍家有关了，不过慑于霍光的威势，又缺乏证据，只好暂时隐忍不言。但从此以后，汉宣帝对霍光一家产生了一种强烈的反感。
之后，又发生了令汉宣帝不能容忍的事情。汉宣帝下令立他和许皇后在民间所生的儿子为皇太子。这一下可激怒了霍光夫人，她原来的如意算盘是毒死许皇后，立自己的小女儿为皇后，然后与宣帝生个儿子，将来继承皇位。汉宣帝的决定就令她的计划全部落空了。所以之后他又多次设法想毒死皇太子，不过没有得逞。但这些事情在霍光死后逐渐张扬出来，一时间闹得满城风雨，使得汉宣帝与霍家的关系日趋紧张。
汉宣帝深知，霍光虽然死了，但霍家的势力还很大，霍家的亲属和亲信还控制着中央政府的各个机要部门，兵权也掌握在他们手中。为此汉宣帝首先采取行动，削夺霍家把持的权力。并改革上书制度，下令吏民上书直接呈皇帝审阅，不必经过尚书，把霍氏掌控的尚书职务架空起来。通过这一系列步骤，霍家掌握的权力剥夺殆尽，权力逐渐集中在汉宣帝的手中。面对汉宣帝全面夺权的行动，霍家集团内部惶恐不安。他们担心之前毒杀皇后和皇太子的事情败露惹来杀身之祸，就决定铤而走险，举行叛乱，企图推翻汉宣帝，保住他们的既得利益。但叛乱在严阵以待的汉宣帝面前，很快就瓦解了。汉宣帝大规模的镇压了霍氏集团的叛乱，并将参加叛乱的人都处以极刑，并废除了霍皇后。据说，在镇压中受到叛乱牵连而被灭族的就有千家之多，在西汉朝廷中经营盘踞了十几年的霍家势力一朝覆灭，汉宣帝最终确立了他的绝对统治。
