东晋南朝时期，京口（今江苏扬州）是南方政权在江东的军事重镇，时称北府。这里是北方南下流民集中留居的地方，也是南方政权的主要兵源所在。东晋大臣郗鉴、桓温均以此为基地组建军队，并募北方流民和江淮间富有战斗经验的农民，在京口组成一支精锐部队，号称「北府兵」。桓温死后，谢安当政，遣其子谢玄去京口重新组建北府兵，其时北府兵的士卒和下层将领皆由招募而来，他们多为北方南下流寓淮南的流民及流民武装的首领，有丰富的作战经验，骁勇善战。北府兵对东晋后期的局势产生了重大影响。太元八年（383年），在淝水之战中，东晋北府兵以少胜多，击败了前秦的数十万大军。这支军队还曾镇压了孙恩、卢循率领的反晋起事。