经过八王之乱，晋偏安江南，谢家掌握东晋朝政后，为抵御前秦，太元二年（377），朝廷拜谢玄建武将军、兖州刺史，领广陵相、监江北诸军事，镇广陵，召募劲勇，徐（治京口）、兖（治广陵）人民纷纷应募入伍，在京口训练新军。谢玄以刘牢之为参军，常领精锐为前锋，战无不捷。太元四年，谢玄加领徐州刺史，镇京口。东晋称京口为“北府”，所以称这支军队为北府兵。
对于大清而言，北洋军阀是大清最有战斗力的一只军队；对于东晋而言，北府军的战绩更是强悍，北府兵人数虽仅八万之众，但经数年整训以後，能征惯战，谢玄并委刘牢之为参军，统率这支精锐部队。西元三八三年，前秦主苻坚已先後统一北方各少数民族，复恃兵强人众，挥军南侵至淝水，晋将刘牢之等率八万北府军、击溃了号称百万雄师的苻秦，奠定了东晋偏安江南百多年之局面。此後，北府兵不但成为长江下游的主要军事力量，对於改变荆、扬两地形势，如镇压苏峻、桓玄之内乱，曾起积极作用。
同北洋军阀产生了袁世凯一样，北府军也诞生了刘裕。袁世凯逆势而动，成了窃国大盗，被世人唾弃，其后北洋军阀经过数十年最终烟消云散；但刘裕亲眼目睹刘牢之的悲惨命运，自北府兵权落入刘裕手中后，晋安帝义熙十四年（四一八），刘裕篡晋建立宋朝，史称刘宋，这引起了引致北府诸将内讧，与大清的北洋军阀不同，这次内讧为夏主赫连勃勃所乘。驻守於长安之北府兵大败溃散，刘裕精锐尽失。北府兵从此成为历史的陈迹。
同大清北洋军阀影响大清证据一样，北府影响于东晋的政局，大而且久。百年来特殊的历史条件，使京口蕴藏着可观的军事力量。但是如果没有刘牢之辈北府将失败的教训，刘裕的成功得来可能更不容易。这是研究晋宋之际历史不能不注意的一个问题。
刘裕代晋在历史上的一个重大贡献就是极大的削弱了门阀政治，由于刘裕出身寒门，所以刘裕打破了西晋以来的上品无寒门、下品无士族的门阀政治垄断局面，恢复了中国古代皇朝的权力结构形式和统治秩序。中国历史上的门阀政治时期，也就是皇权变态时期，基本上宣告结束。由此至南朝之未，门阀士族仍然存在并起着相当的政治作用，但已不是决定性的政治力量了。
