北魏军队的编制单位，从高至低依次是军、幢、什、伍等。最高一级单位是军，军设军主、军副，指挥全军。一军所统兵数，没有明确记载。北魏建国之初，道武帝曾设置军府，每军配兵人，但从史籍记载看，这不一定是北魏常制，史称：北齐军主为从七品，与戍主同品。北齐官制沿袭北魏，北魏官制也应如此。而北魏镇一般只有兵三五千人，戌之兵数则要少于镇兵数，与戍主同品的军主，似不应拥有之众。军以下是幢，幢有幢主、幢副，统率全幢。一幢所统兵数也没有明确记载。史载：柔然仿照北魏建军，以“百人为幢”。但《宋书·索虏传》记载：“（汝阳）城内有虏一幢，马步可五百”，则北魏一幢，兵数不止百人。幢以下应该是什、伍等传统建制。此外，北魏军队中还有队的建制，队有队主、队副等指挥官。但队似乎不是一般建制。《隋书·百官志》中记北齐军制，以军主、副，幢主、副为序列。又记军主官阶为从七品、军副为从八品、幢主为从九品，每级之间相差一品，也说明他们是序列关系。又说：北齐队仅设于太子军队和镇戍之戍主军队中，且戍主以下不再设幢。戍主本与军主同为一级。戍主下设队而不设幢。而军主下设幢而不设队，或者队即相当于幢的编制，称呼不同而已。这里北齐军队的序列系统编制，当是沿袭北魏而来。

东魏北齐军制

东魏北齐军制大体沿袭北魏，军队也分为中兵、镇戍兵、州郡兵三部分，其军队领导体制、军队编制、军兵种等都略同于北魏。但其军制也有自己的特点，这就是东魏北齐所特有的夷、汉分兵制。

高欢起事之初，赖以成事的都是鲜卑或鲜卑化了的其他少数民族和汉人。后来北魏孝武帝西奔，随他人关的洛阳“六坊”鲜卑兵不过万人，其余的“六坊”鲜卑兵大都归了高欢。因此，高欢的军队主要是鲜卑兵，高欢所采取的也是以鲜卑人当兵打仗，汉人务农纳粮的作法。当时，虽也有少数汉人兵，但与鲜卑兵分开，单立一军，由汉人率领。北齐时，挑选鲜卑中勇力绝众者组成军队，称之“百保鲜卑”，又正式以汉人服兵役，仍取高欢时作法，以汉人兵单为一军。

高欢在东魏任相国时，曾于相府设内、外二曹主管兵事，内曹是骑兵曹，管中兵鲜卑兵事；外曹是步兵曹，管外兵汉兵事。北齐代魏后，相府诸司并于尚书，唯内、外二曹不废，改称外兵省，骑兵省，职掌兵事。由此也可看出，东魏时期，军队的实际领导权在相国高欢手中，北齐代魏后，军队领导权才收归中央。

西魏北周军制

西魏北周通行的是不同于魏齐的府兵制。

宇文泰赖以割据关陇的武川军团，其战士主要由改编关陇各族人民起义军而组成。加上后来随魏孝武帝入关的六坊鲜卑兵万人，西魏的总兵力至少有四五万人。但随着与东魏不断地进行战争，西魏军队的补充日渐困难，而居住于关陇的鲜卑人数本就不多，于是宇文泰征召汉人“关陇豪右”的依附人口为兵，以当地有名望的大族人物统领，为了协调胡、汉关系，密切主将与士兵的联系，提高士兵身份以加强军队战斗力，宇文泰于西魏大统十六年（）实行府兵制。府兵制采取拓跋氏早期部落兵的形式，“以诸将功高者为三十六国后，次功者为九十九姓后，所统军人亦改从其姓”。这是说，统兵官不论汉人还是其他族，一律赐以鲜卑部落旧姓，其所统兵亦从主帅改姓。又仿照拓跋氏早期八部之制立八柱国大将军，宇文泰在此之前已为柱国大将军、都督中外诸军事，总领军队大权，另一柱国大将军北魏宗室元欣仅挂虚名，没有实权，所以实际领兵官是六柱国，各领一军，是为六军。六柱国下，每柱国又各设二大将军，共十二大将军；每大将军下，又各设二开府，共二十四开府，是为二十四军；每开府下，又各设二仪同，共四十八仪同；以下还有大都督、帅都督，都督等领兵官。府兵的兵力配备是每仪同领兵千人，则开府领兵二千，大将军领兵四千，柱国大将军领兵八千，总兵力近五万人。府兵仍由宇文泰总统之。早期府兵包括鲜卑兵、关陇军户，“关陇豪右”所领乡兵，没有一般民户。府兵另附军籍，不编入民籍，不负担赋税，平时半月宿卫。半月训练。轮流服役，战时出征。北周武帝时，为扩大兵源，将府兵征召对象扩大至上等民户。后来又扩大至一般民户。因为府兵可以免除赋税，人们纷纷应召。因此史称“是后夏人（汉人）半为兵矣。”府兵人数急翩上升，至北周灭齐时，已拥有府兵万人，西魏时期，府兵大权在相国宇文泰手中，因此，其时府兵虽以“禁旅”的身份出现，但领导权并不在皇帝手中。北周武帝时，改府兵军士名称为“侍官”，并将领导权收归皇帝，府兵才成为名符其实的皇帝宿卫军。

西魏北周军制的主要部分是府兵制，但府兵不是当时惟一的军队。府兵以外，还有宫廷宿卫军、镇戍兵、州郡兵等军队。