太元元年（公元376年），孝武帝司马曜开始亲政，谢安升中书监、录尚书事，总揽朝政，陈郡谢氏成为东晋的最后一个“当轴士族”。
同年，苻坚统一了中国北方，前秦与东晋的战争已经临近。当时的东晋，长江上游由桓氏掌握，下游则属于谢氏当政，谢安尽力调和桓谢两大家族关系，以为即将爆发的战争作准备。
太元二年（公元377年），东晋朝廷任命桓冲的儿子桓嗣为江州刺史。又任命五兵尚书王蕴都督江南诸军事，兼徐州刺史，任命征西司马兼南郡相谢玄为兖州刺史，兼广陵相，监长江以北诸军事。后来谢安举荐自己的侄子谢玄戍卫北方领土。 谢安则自己都督扬州、豫州、徐州、兖州、青州五州军事，总管长江下游。桓冲为荆州刺史，防御荆襄地区；谢玄镇广陵，与谢安防御淮南地区。为了加强中央军力，晋孝武帝令谢玄招募淮南江北百姓，在广陵挑选良将，训练精兵，选拔了刘牢之等人，成立北府军。
太元三年（公元378年）二月，前秦王苻坚派征南大将军、都督征讨诸军事、守尚书令、长乐公苻丕，武卫将军苟苌和尚书慕容率领七万步、骑兵进犯襄阳，让荆州刺史扬杨率领樊州、邓州的兵众作为前锋，征虏将军始平人石越率领一万精锐骑兵出鲁阳关，京兆尹慕容垂、扬武将军姚苌率领五万兵众出南乡，领军将军苟池、右将军毛当、强弩将军王显率领四万兵众出武当，会合攻打襄阳。分三路合围襄阳，总计投入兵力17万。
四月，前秦的军队抵达沔水以北，梁州刺史朱序认为前秦的军队没有舟船，未作防备。等到石越率领五千骑兵渡过汉水，朱序才惊惶固守中城。石越攻克了他的外城，缴获了一百多艘船只，用来接运其余的兵众。长乐公苻丕统领众将领攻打中城。慕容垂攻下了南阳，抓获太守郑裔，与苻丕在襄阳会合。襄阳守将朱序死守近一年后，于太元四年（379年）二月城破被俘。苻坚又派彭超围攻彭城，秦晋淮南之战爆发。谢安在建康布防，又令谢玄率5万北府兵，自广陵起兵，谢玄四战四胜，全歼敌军。谢安因功封建昌县公，谢玄封东兴县侯。
公元383年8月，苻融率25万先锋军队。苻坚率步兵60万、骑兵27万，共112万大军（实际上仅30万到达战场）前来。东晋以谢安之侄谢玄为先锋，率领经过7年训练，有较强战斗力的“北府兵”8万沿淮河西上，迎击秦军主力。
太元八年（公元383年）五月，桓冲倾十万荆州兵伐秦，以牵制秦军，减轻对下游的压力。
八月初二，苻坚派遣阳平公苻融督帅张蚝、慕容垂等人的步、骑兵共二十五万人作为前锋，任命兖州刺史姚苌为龙骧将军，督益、梁州诸军事。
八月初八，苻坚发兵长安，亲率步兵六十万，骑兵二十七万，开始大举南侵。
九月，苻坚抵达项城，凉州的军队到达咸阳，梓潼太守裴元略率水师7万从巴蜀顺流东下，幽州、冀州的军队也抵达了彭城，东西万里，水陆并进。阳平公苻融等人的部队三十万人，先期抵达颍口。东晋面对大军压境，下达诏令，任命尚书仆射谢石为征虏将军、征讨大都督，任命徐、兖二州刺史谢玄为前锋都督，与辅国将军谢琰西中郎将桓伊等人，统帅八万兵众抵抗前秦。并让龙骧将军胡彬带领五千水军援助寿阳。共分三路兵马北上迎击前秦军。
十月，前秦阳平公苻融等攻打寿阳。十八日，攻克寿阳，擒获平虏将军徐元喜等人。慕容垂攻下了郧城。苻融进军攻打胡彬退守的硖石。前秦卫将军梁成等率领五万兵众驻扎在洛涧，沿淮河布防以遏制东面的部队。苻坚自认为能速战速决，并派已是前秦尚书的朱序前去劝降谢石，朱序却私下提示谢石宜先发制人，击溃前秦的先锋部队。他说：“秦军虽有百万之众，但还在进军中，如果兵力集中起来，晋军将难以抵御。现在情况不同，应趁秦军没能全部抵达的时机，迅速发动进攻，只要能击败其前锋部队，挫其锐气，就能击破秦百万大军。”谢石起初认为秦军兵强大，打算坚守不战，待敌疲惫再伺机反攻。听了朱序的话后，认为很有道理，便改变了作战方针，决定转守为攻，主动出击。
十一月，谢玄派广陵相刘牢之率领五千精兵开赴洛涧，揭开了淝水大战的序幕。秦将梁成扼守山涧部署兵阵迎击。刘牢之取得洛涧大捷，斩杀了梁成、梁云以及弋阳太守王咏，秦军折损十多名大将及数万大军。刘牢之又派部队阻绝了淮河渡口，歼灭前秦军队一万五千人，抓获了前秦扬州刺史王显等人。
晋军西行，与秦军对峙淝水。十二月有人向苻坚建议后退决战。诸秦将认为阻敌淝水畔比较安全，但苻坚认为半渡而击可主动对决。当秦军后移时，晋军渡水突击。朱序、张天锡等人在秦军阵后大叫：“前线的秦军败了！”，秦军阵脚大乱，随后晋军全力出击，大败秦军。谢玄、谢琰和桓伊率领晋军七万，战胜了苻坚和苻融所统率的前秦十五万大军，并阵斩苻融。
淝水之战，前秦军被歼和逃散的共有70多万。唯有鲜卑慕容垂部的3万人马尚完整无损。苻坚统一南北的希望彻底破灭，不仅如此，北方暂时统一的局面也随之解体，再次分裂成更多的地方民族政权，鲜卑族的慕容垂和羌族的姚苌等其他贵族重新崛起，各自建立了新的国家，苻坚本人也在两年后被姚苌俘杀。
中国南北分立的局面继续维持。东晋乘胜北伐，收回黄河以南故土，但不久，因丞相谢安去世和前线主帅谢玄退隐而转为守势。
此战的胜利者东晋王朝虽无力恢复全中国的统治权，但却有效地遏制了北方少数民族的南下侵扰，为江南地区社会经济的恢复和发展创造了条件。淝水之战也成为以少胜多的著名战例，载入军事史，对后世兵家的战争观念和决战思想产生着久远影响。
