1271年，忽必烈公布《建国号诏》，取《易经》中“大哉乾元”之意，正式建国号大元。一年后，在刘秉忠规划下，元帝国建都于金国中原的大都。北方政局稳定后，忽必烈决定采用南宋降将刘整建议，先拔襄阳，浮汉水入长江，进取南宋。1268年，命阿术、刘整督师，围困隔汉水相望的襄、樊重镇，襄樊军民拒守孤城达六年。1272年初，元军攻下樊城，襄阳守帅吕文焕出降（见襄樊之战）。

次年六月，忽必烈命伯颜督诸军，分两路大举南进。左军由合答节度，以刘整为前锋，由淮西出师。伯颜本人与阿术领右军主力，九月，自襄阳出发，沿汉水入长江；同时，命董文炳自淮西正阳南逼安庆，以为呼应。十二月，元水师入长江，克宋江防要塞阳逻堡。宋汉鄂舟师统帅夏贵遁，汉阳、鄂州宋军降。伯颜分兵留阿里海牙经略荆湖，自领水陆大军顺流而东，以吕文焕为前锋。宋沿江诸帅多为吕氏旧部，皆不战而降。

1274年二月，贾似道被迫督诸路精兵，抵御元军。这时，他仍企图奉币称臣议和，被伯颜拒绝，只好在池州下游丁家洲勉强与元军会战。因宋军内部不和，一触即溃。同年秋，伯颜从建康（江苏南京）、镇江一线分兵三道趋宋都临安（浙江杭州）。1276年正月，宋幼帝赵㬎上表降元。

之后，南宋大臣文天祥与张世杰、陆秀夫等在东南沿海继续顽抗，拥立益王赵昰为帝。赵昰死后，又拥立卫王赵昺，继续抗战。1278年，文天祥兵败被俘，被囚于大都三年之久，拒绝了元朝的招安，后从容就义。