1928年底，东三省虽然完成易帜，但与南京中央仍是“分治合作”的关系，在政治、军事、财政上，均保有自主地位。北伐后的中国，大致形成南京、广州、武汉、开封、太原、沈阳等6个军权中心。
1929年1月1日至25日，国民政府于南京成立国军编遣委员会，举行国军编遣会议，将李宗仁、阎锡山、冯玉祥部列入第一期整编，东北军列入第二期整编；规定每个军事集团最多保留11个师，此举引发各部强烈不满，李宗仁部、冯玉祥部先后举兵反抗，均告失败。同年8月，全国编遣实施会议召开，规定各编遣区以团为单位实施编遣，军队数量一律压缩到7-9个师。东北军并未参与其中，张学良且与阎锡山等人联名通电“拥护中央统一”。
国民党二届四中全会后，蒋介石虽然取得了“正统”地位，却未真正统一国民党，国民党内四分五裂、派系林立。面对这种形势，蒋介石希望通过召开三全大会来稳固自己的地位，1929年3月15至27日召开了国民党第三次全国代表大会，会议除通过“以三民主义、五权宪法”等为“最高之根本法”，《训政时期党、政府、人民行使政权、治权之分际及方略案》、《外交决议案》外，还决定：
追认编遣方案，从法律上肯定了蒋介石消灭地方实力派为合法。
开除李宗仁、白崇禧、李济深、陈公博、甘乃光等人的党籍，汪精卫予以书面警告，桂系及改组派势力被完全排除于三大中央之外。
开除国民党二届中央中共党人的国民党籍，并对邓演达、彭泽民、路友一尹等人以开除党籍或停止职权的处分。
由于政治立场上的不同，各派矛盾日趋激烈，1929年3月，蒋桂战争爆发。为集中兵力，消灭桂系，蒋介石派邵力子等人到华山拉拢冯玉祥，以行政院院长及鄂、湘两省地盘为条件，要冯继续与蒋合作，并请冯出兵助蒋讨桂。冯表面答应了蒋的要求。随即在豫鄂边界频繁调兵，希望待蒋、桂两败俱伤之时，乘机出兵占领武汉。但蒋很快打败了桂系，增加了蒋介石的怨恨，使蒋、冯之间的矛盾无法调和了”。蒋介石随后把进攻的矛头对准了冯玉祥，大举向山东、河南调兵，造成对冯系大兵压境之势。蒋介石以武力把孙良诚挤出山东；;冯玉祥看到蒋介石消灭西北军的主意已定，便采取防御策略，命令山东、河南的守军西撤，以便集中兵力缩短战线，巩固西北，同时，冯系在南京供职的鹿仲鳞、熊斌也同时辞职，返回了西北。冯玉祥完成了一系列的军事调动之后，于5月中旬在华阴召开军事会议，决定武装反蒋。
1929年初，蒋介石以划分“国税”和“地方税”为名，迫使阎锡山将平津税收划归中央；阎锡山却申请发行省公债3000万元，但未获结果。北伐后期，阎锡山从蒋冯相争中获利，开府北平，蒋介石虽委任阎锡山为京津卫戍司令，但却派遣何成浚为北平行营主任兼市长。上下左右的人事布局，使阎锡山惴惴不安。
1930年1月13日，前往郑州参加军事会议并准备履行国民党军副总司令就职仪式的阎锡山在得知蒋介石命令河南省政府主席韩复榘逮捕自己的密令后，连夜逃回山西太原，并决定倒蒋。
1930年1月，阎锡山自郑州返回太原后，豫中形势即渐现混沌；2月10日，阎氏致电蒋介石，主张礼让为国 ，力言武力统一不宜用于民主党治之下，约蒋氏“共息仔肩”，以弭党争。12日，蒋复电云：“革命救国本为义务，非为权利，此时国难正亟，非我辈自鸣高蹈之时。” 21日，李宗仁、黄绍、白崇禧、张发奎、胡宗铎5人响应阎氏行动，推其为全国陆海空军总司令；23日，阎锡山、冯玉祥、李宗仁等45人联名通电提出党统问题，主张由全体党员投票以解决党国纠纷，汪精卫亦通电和之。3月14日，第2、第3、第4集团军57位将领联名通电促蒋下野，次日，通电推举阎锡山为“中华民国”陆海空军总司令，冯玉祥、李宗仁为副总司令，武力讨伐蒋介石。4月1日，阎、冯、李分别于太原、潼关、桂平就中华民国陆海空军总司令、副司令职；5日，国民政府下令通缉阎锡山，并积极备战。7日，南京国民党中常会决议永远开除阎的党籍。
反蒋军共编制了8个方面军：桂军为第1方面军，由李宗仁统率并兼总司令，北出湖南，进趋武汉；西北军为第2方面军，由冯玉祥统率，总司令鹿钟麟，担任河南境内陇海、平汉两线作战任务；晋军为第3方面军，由阎锡山统率，总司令徐永昌，担任出东境内津浦、胶济两线和陇海线东段作战任务；石友三部为第4方面军；内定张学良的东北军为第5方面军；刘文辉部为第6方面军；何键部为第7方面军，樊钟秀部为第8方面军。作为主力军的西北军、晋军己全部动员起来，开赴陇海、平汉、津浦-各线。阎还委石友三为山东省主席，率部由豫攻鲁，委孙殿英为安徽省主席，攻入安徽亳州一带。
晋阎和宁蒋自5月中旬展开大战，反蒋军的战略是：阎军自津浦路南下，冯军自陇海路东进，谋夺取徐州；同时，李宗仁军队向湖南进兵，威胁武汉。战争初期，反蒋联军在南北战场均取得主控权，获得大部战役的胜利， 6月下旬攻陷济南。
1930年6月底7月初，战况发生变化。湖南战场，蒋组织何键、钱大钧、夏斗寅三路军反攻长沙，调海军陈绍宽率舰入湘协攻，并令尾迫张桂军入湘的第八路军蒋光鼐、蔡廷锴两师出兵衡阳。6月9日，蒋、蔡两师占领衡阳，张桂军首尾不能相顾，便退出岳阳、长沙，反攻衡阳。月底，双方在湘南激战，张桂军溃败，于7月4日退回广西。接着，蒋军又将孙殿英困守的陇海、津浦三角地带的亳州拿到了手，解除了侧背的威胁。8日，蒋任命刘峙为津浦路总指挥，从陇海线抽调陈诚、冯轶裴、胡伯翰、胡宗南、杨胜治等师及陈调元的三个警备旅到津浦线增援，又将蒋、蔡两师也调到津浦线，将李楹布师由海路运至青岛登陆。
1930年7月13日，阎锡山、冯玉祥联合国民党内的改组派汪精卫、陈公博和西山会议派邹鲁、谢持等在北平召开中国国民党中央党部扩大会议，另立国民党党统。
1930年7月底，蒋在津浦线发动总攻，8月15日重新占领济南，晋军仓惶一往黄河北岸撤退，适逢河水上涨，被蒋军俘虏或入水溺毙的不计其数。阎军在津浦线首告失败，这对整个战局形势产生了决定性的影响。
1930年8月21日，蒋在济南召开军事会议，决定对黄河北岸晋军取对峙监视态势，而把津浦线蒋、蔡、李及陈诚、胡宗南等部调到陇海、平汉线方面来，将进攻重点放在平汉线上，同时进扰陇海线西段以截断西北军退路。24日，蒋悬赏各军：先占领巩县者赏洋20万元，先占领洛阳、郑州者各赏洋100万元。
1930年9月1日，北平国民政府正式成立，与南京国民政府形成对峙的局面，彼此互争正统。
1930年9月6日，蒋军开始总攻。冯认为还有实力与蒋决一死战，便将平汉、陇海战线缩短，集结兵力于郑州外围，想在晋军协助下背城一战，挽回颓势。但阎为保存实力，却密令陇海线晋军也向黄河玖北撤退，使冯部无力支持。17日，蒋军杨虎城部攻占了洛阳附近的龙门，截断了冯军西撤退路，冯军只得转向豫北撤退。
1930年9月18日，张学良通电吁请“各方即日罢兵以纾民困”、“静候（南京）中央措置”，同时派遣于学忠、王树常率东北边防军第1、2军入关。10月9日，在沈阳就任全国陆海空军副司令之职。
阎接到其驻唐山部关于东北军入关的报告后，立即召集会议研究对策。张每到一地，即通知晋军让防。阎按通知节节退兵。21日和26日，东北军一枪未发，和平接收了平、津。为了保持同晋军的关系，东北军只到河北、察哈尔为止，没有进入山西。东北军入关，对反蒋军产生了极大影响。陇海线晋军过黄河，分两路退回山西。孙殿英、刘春荣等部及西北军庞炳勋部也随晋军行动，向黄河以北撤退。石友三19日通电拥护张学良，率部由鲁西开往豫北。部面临后路被截、重兵包围的形势。蒋又派人四出活动，多方利诱，使冯部迅速分化。
1930年9月28日起，吉鸿昌、梁冠英、焦文典相继倒戈投蒋，平汉线的反蒋军处境险恶。
1930年10月3日，陇海线蒋军攻入开封，进追郑州，南京政府宣布大赦参与中原大战的诸多将领。4日，汪、阎又密赴郑州，促冯共同发表停战通电。冯陷人众叛亲离四面楚歌境地，只好在5日率副司令部人员撤到黄河以北的新乡。6日，郑州为蒋军十一师陈诚部所占。冯部陆续退到豫北、晋南。10月5日，阎、冯、汪联电张学良，表示愿意停战，听候矛译平解决。15日，阎、冯决定联袂下野，阎将晋军交给徐永昌，冯将西北军交给鹿钟麟，声称出国暂避（实际上2人均未出国）。
1930年11月4日，阎锡山发表通电，即日释权归田。随后，取消太原的中华民国陆海空军司令部，中原大战彻底止息。“中原大战”历时7个月，双方动员兵力110万人以上，支出军费5亿元，死伤30万人，战火波及20多省。
中原大战使蒋介石彻底打败对其威胁最大的角逐的军事力量。冯玉祥领导的西北军彻底瓦解，分裂成了四大派系。阎锡山领导的晋绥军也受到重创，内部的商震和傅作义等将领也前后联合成一个系别。东北军因为进入关中帮助中央军，所以在战后得到了华北的地盘，紧随其后又收编了大量的西北军和晋绥军派系的残余势力，一举成为全中国第二大的军事派别。新桂系撤退回广西以后，在陈济棠派粤军的帮助下自保。与此同时，派系领袖中的黄绍竑退出了新桂系。
