公元196年，建安元年，被封建军阀争夺数年的汉献帝终于结束奔波，被曹操迎驾于许县。汉献帝成为傀儡，曹操以天子令诸侯，成为司空、丞相，独揽军、政大权。
曹操的司空府军权独揽，下设领军、护军各一人，作为最高军事幕僚。领军、护军平时辅佐曹操处理军务，参与军事机密决策，战时可代表曹操在外指挥、监护军队。曹操还设置司马、军师祭酒等多种军事幕僚，辅佐军事。例如荀彧当过司马，郭嘉当过军师祭酒等。
曹魏的军队，由中央军和地方军组成，中央军又分为中军、外军两部分，地方军就是各州郡的军队。
中军一般驻扎在京师地区，中军既保卫京师又承担外出作战任务，是曹魏的主力部队，总兵力达十万人。曹操时期的中军，以中领军、中护军为统帅，其中包括虎、豹、骑等护卫亲军。曹丕称帝后，中军主要由武卫、中领、中护、中坚、中垒等五营组成，其中中领军的权力最大。武卫营掌管宫廷护卫，其他各营负责京师地区的守护。
外军是指京师以外各地都督所率军队，外军虽然远离京师，但是仍属于中央军。公元216年，曹操征孙权还，任命付波将军夏侯惇都督，领军驻屯居巢，这是曹操设置外军的开始。曹丕建魏后，正式设置都督统率诸州军队，在边防地区设置都督府，西南防备蜀国、东南防备吴国、北部防备东胡等少数民族，历任都督者，根据资历分别任命为征（征东、征西、征南、征北）、镇（镇东、镇西、镇南、镇北）、安（安东、安西、安南、安北）、平（平东、平西、平南、平北）等将军，都督主管一方军政，有时会统辖好几个州郡，都督由中央任命，经常调动，外军也是曹魏军队的重要力量。
地方军一般指州郡兵，由刺史或太守管辖，主要职责是维护州郡境内社会治安，保持封建秩序，但是如遇战事，也要接受中央调遣外出作战，州郡兵实力远逊于中央军。
曹魏是三国时期最强大的国家，占据东汉十三州中的九州，地广人多，全国军队最多时达五十万，可同时与蜀、吴两国作战。
步兵是曹魏军队的主要力量，曹操在平定袁绍后，又平定了乌桓和关中，缴获了大量马匹，骑兵数量剧增，曹操统一北方后，出兵作战，一般是步兵和骑兵配合，协同作战。
公元208年，曹操占领荆州后，收编了刘表的大部分水军，但不久赤壁之战失败，曹操的水军荡然无存。后来，出于对东吴的战争需要，曹魏又设置了水军，但始终是很小的规模。
曹魏的军队来源主要有召募、征发、强制降附及亡户当兵。例如，公元192年，曹操平定青州黄巾军，得降卒三十万，精选了一批青州兵，成为曹操主要的军事力量。
曹丕建国后，世兵制成为曹魏的兵役制度。世兵制即是一旦成为士兵，则要与一般民户分离，成为军户，军户不经放免就要世代为兵。军士身份低贱，为了防止士卒逃离，曹魏将兵将的家属集中到统治中心作为人质，世兵制是魏国强迫一部分人世代充当职业士兵的制度。