在光武帝稳固东汉政权之后、东汉末年之前，将军、校尉之类只有战时才会领兵，平时也就一挂名的闲职，也就是后世所谓的武散官。当然，要除掉某几个有特定职权的将军、校尉（度辽将军、使匈奴中郎将、护羌校尉之类）。
东汉末年时，由于战乱连连，各地军阀各自割据一方，所以产生了以将军、中郎将、校尉的身份领州牧、刺史、太守，或以州牧、刺史、太守的身份领将军、中郎将、校尉的特殊制度，这种制度被称为“州郡领兵制”，其在除王莽新朝外的整个汉朝都从未有过。关于将军、中郎将、校尉等，会在下文军队的组织结构部分加以介绍。
汉朝的历代统治者大概是为了防止地方军阀的形成，规定地方官和军职不得兼领。按《后汉书卷二十二·马成传》：“〔马成〕在事五六年，〔光武〕帝以成勤劳，征还京师。边人多上书求请者，复遣成还屯。及南单于保塞，北方无事，拜为中山太守，上将军印绶，领屯兵如故。〔建武〕二十四年，南击武溪蛮贼，无功，上太守印绶。”从上面的引文可以得知，马成被任命为中山郡太守之时，必须上还其先前所拥有的“扬武将军”印绶。同时，虽然没有了军职，但马成仍率领其原来的部属，这点证明了上文所说的内地郡国由太守统领其境内的军队。又《后汉书·董卓传》：“及灵帝寝疾，玺书拜卓为并州牧，令以兵属皇甫嵩。卓复上书言曰：‘臣既无老谋，又无壮事，天恩误加，掌戎十年。士卒大小相狎弥久，恋臣畜养之恩，为臣奋一旦之命。乞将之北州，效力边垂。’于是驻兵河东，以观时变。”董卓时为前将军。从这个例子也可以看出，即便在刘焉提议复设州牧之后，州牧名义上也是没有兵权的，至少是没有统率一军之权。州牧只是加强了节制郡守的权力。直到此时，地方官和军职还是不能兼领。
按《三国志·魏书十五》：“〔司马朗〕迁元城令，入为丞相主簿。〔司马〕朗以为天下土崩之势，由秦灭五等之制，而郡国无搜狩习战之备故也。今虽五等未可复行，可令州郡并置兵，外备四夷，内威不轨，于策为长。……议虽未施行，然州郡领兵，朗本意也。”司马朗担任丞相主簿是在建安十三年（208）六月初九。上文中说州郡领兵制是出于司马朗的本意，其实并不准确。地方官加军职大概可以追溯到初平元年（190）的讨董联盟，袁绍自称车骑将军，而后领冀州牧。随后又有曹操行奋武将军，领兖州牧等。虽然这些官职都不是皇帝亲封，但各个军阀头上的职衔却大多名副其实。
州郡领兵制形成的原因，其实并非是司马朗的提议，而是东汉朝廷在末年失去了对地方政权的掌控力。东汉朝廷之所以失去了对地方政权的掌控力，具体原因当然可以说上一大通，比如黄巾军起义，比如十常侍之乱，比如袁绍、何苗等人闯禁宫诛宦官，比如何进、袁绍等人征召各方军阀进京，董卓乘机夺取政权，等等。但究其根本，是制度的腐朽和僵化。外戚和宦官争权夺利，皇帝公然卖官鬻爵，增重赋敛,刻剥百姓，民不聊生。为了平民变，致使地方军阀坐大，使董卓之类狼子野心之人有可乘之机。因为官吏贪腐，外戚和宦官争权，致使中央政权不稳，皇帝为躲避兵燹被迫离宫。这些祸源都是出自人对权力的无止境的贪欲和利用。
