这个问题实际上属于网上谣传。这个谣传是对《汉书·外戚传》中记载汉武帝征和二年（公元前91），也就是卫青死后15年发生的巫蛊之祸中“卫氏悉灭”一句的误解。
史书用词都是严谨的，如果说整个家族被诛杀，则会记为“族诛”，而非“悉灭”。
《汉书》中的这句“卫氏悉灭”，指的是巫蛊之祸中卫青的姐姐皇后卫子夫、太子刘据、诸邑公主、阳石公主（两人皆为卫皇后女）卫青的长子卫伉，以及曾经跟随卫青出征匈奴的丞相公孙贺（公孙贺的夫人是卫皇后的姐姐），皆遭诬陷而死，使得卫氏在朝堂中的势力全部被拔出，所以才记作“悉灭”。
那么，什么是“巫蛊之祸”呢？
巫蛊之祸是一件很复杂的政治事件。之所以说其复杂，是因为它不仅仅汉武帝个人迷信所导致的悲剧，更深次的原因还有其对外戚的防范心理在里面。
古人“敬鬼神而远之”，作为古代封建王朝顶端的皇帝，大多更是对鬼神、巫术之流抱着警惕的心态。
汉武帝所处的时期，京师里面各种方士、神棍聚集，用一些旁门左道迷惑众人。甚至有一些混入到宫廷之中，在后宫嫔妃和皇子们中间煽风点火。
这种东西其实很“诛心”，在政治上投放的威力不亚于核弹。因为无论皇帝本人信不信巫，或者巫术应验不应验，这些其实都不重要，重要的是一旦出现巫术，那么就会让孤家寡人的皇帝开始犯疑心病，继而甚至掀起腥风血雨。
巫蛊之祸起自于阳陵大侠朱安世。
征和二年（前91年），丞相公孙贺的儿子公孙敬声擅自挪用军费1900万钱，事发被捕下狱。而当时汉武帝正为长时间抓不到通缉犯朱安世非常恼火，于是公孙贺打起了追捕朱安世，以此讨好汉武帝给儿子赎罪的想法。
这个朱安世也不白给，临死拉个垫背的，在狱中上书告发公孙敬声跟阳石公主私通，并且还派巫师在通往甘泉宫的驰道上埋下诅咒汉武帝的人偶。
朱安世这一招，狠就狠在有真又有假。公孙敬声跟阳石公主私通是真，而他派巫师埋人偶诅咒汉武帝则是假。汉武帝震怒之下顾不上细查，于是公孙贺父子于当年春正月死于狱中，被族诛。
但十分诧异的是，在之后公布的公孙贺罪行中并没有涉及到巫蛊之事，定的三个罪行分别是“贪污、以边为援、诈伪诏书”。
还原这起案件，十分蹊跷的是朱安世只是一个游走的大侠，虽然很清楚京师的政治态势，但又怎么会知道甘泉宫的驰道上埋了巫蛊娃娃？另外关于到底有没有挖出巫蛊娃娃，史书没有详细交代。
可见，汉武帝对公孙贺的处置，极有可能是借巫蛊的名义，对卫氏势力的一次政治肃清。
随后，汉宫内相继又发生许多起拿木偶诅咒他人的巫蛊案件，被诛杀的后宫妃嫔、宫女以及受牵连的大臣高数百人。
巫蛊之祸看似偶然，其实充满了必然性。
卫青虽然早已在15年之前去世，但卫氏家族的势力盘根错节。杀公孙贺，就体现了汉武帝对卫氏外戚势力的削弱，后来演变到杀妻、杀子、杀女，尽管有江充的构陷，但根源还是卫氏家族与皇权矛盾的总体爆发。
汉武帝晚年，虽有心想要消除卫氏集团的势力，但在太子的废立问题上则始终是犹豫不决的态度，直至太子起兵，局势失控，才不得不下狠手拔除整个卫氏集团。
然而，卫氏势力的清除，并不代表卫青家族的死绝。
在整个巫蛊之祸中，卫青家只是死了继承长平侯爵位的长子卫伉，他另外的两个儿子卫不疑、卫登并没有受到株连，所以根本谈不上什么汉武帝诛杀卫青整个家族的说法。
