苏建曾经劝过大将军卫青：”大将军的地位如此尊崇，而天下的贤人士大夫都没有人称赞你，也不关注你。大将军应当学以前的名将招揽一些士人，多多举荐他们才是啊。”卫青说：那种招纳贤人斥退不肖的能人，就是天子的忌讳。我们当臣子的就是奉法遵职而己，为什么要招纳士人呢。
魏其侯窦婴，武安侯田蚡，都是外戚，都曾权重一时，都死得很惨。卫青能有这份清醒，也是他能得善终的根本原因。
卫青当上了大司马大将军。实际上是地位最高的辅政大臣，权力超过丞相。而得到这一切，卫子夫的皇后身份只能帮他们起步，更要归功于他们彪悍的战功。
但卫青的做人方式，完全不像是一个大权在握的大司马大将军，反倒惕厉自守，异常小心。卫青深知武帝要的是绝对威权。他出征匈奴归来，把赏金分一半给武帝宠妃王夫人的父母亲上寿;他出征在外，有权处理自己按律当斩的稗将，他不敢，把稗将绑起来带回给天子处置;又明示自己不敢养士。
卫青夹着尾巴做人，武帝着意培植霍去病，时时打压卫青。举个例子，在元狩四年出征时，卫、霍二人同时出征，但霍去病是有优先选配将士之权的，卫青就只能配备挑剩下的士兵了。原本听说匈奴大单于在西路，武帝就让霍去病走西路;后来听说大单于在东路，又改派霍去病走东路，目前就是为了让霍去病立大功。回来后，霍去病受了重赏，手下的将领很多都立了功;而卫青没有受赏，手下也得不到封赏。
武帝抬高霍去病而打压卫青，很显然是有分权的原因，好让霍去病与卫青两人都握重兵，互相制衡。卫青不敢论政事，永远都小心翼翼、战战兢兢，这样的人固然不会犯什么大错，也无法招人喜欢。
元狩六年时，当了两年大司马的霍去病病死。而在此后，汉武帝再也没有派卫青出征。接下来，卫青的长子宜春侯卫伉坐法失侯;后来，卫青的两个小儿子与卫青的大姐夫公孙贺都丢掉了爵位。开始的一门五侯，只剩下卫青一个了。而且，对卫青及卫氏家庭的打击，绝非偶然，很难说，这些打压，不是一局大棋。
