北魏长期都于平城，平城偏北地寒，六月风雪，风沙常起，当时有人作《悲平城》诗说：“悲平城，驱马入云中，阴山常晦雪，荒松无罢风。”流行的歌谣也这样唱道：“纥于山头（今山西大同市东）冻死雀，何不飞去生处乐！”恶劣的气候环境，难以适应经济的发展；偏北的地理位置更不利于北魏对整个中原地区的统治，孝文帝决定迁都洛阳。
太和十七年（493）八月，孝文帝拜辞冯太后永固陵，率领群从百官，步骑百余万从平城出发南伐。命太尉拓跋否与广陵王拓跋羽留守平城，以河南王拓跋干为车骑大将军，负责关右一带的军事，与司空穆亮、安南将军卢渊、平南将军薛胤等共同镇守关中。临行之际，太尉丕奏请以宫人相从，孝文帝厉声斥责说：“临戎不谈内事，不得妄请。”大军列队出城，一路之上，阵容整齐，浩浩荡荡，所过之处，秋毫无犯，经恒州、肆州，于九月底抵达洛阳。
洛阳久经战乱，旧时宫室残破不堪，孝文帝驻跸洛阳西北角的金墉城。城西有王南寺，一有闲暇，常亲诣寺内，与僧侣讲论佛义。城东北有上商里，殷顽民昔日所居之处，孝文帝改名闻义里，命朝士居处其中；朝士们迭相讥刺，不久竟纷纷离去。这年十月初，下诏征召司空穆亮与尚书李冲、将作大臣董爵共同负责营建新都洛阳；随后，率众北巡，自金墉西入河南，经虎牢城（今河南荥阳县汜水镇）至滑台（今河南滑县东），在滑台城东设坛祭庙，把迁都的事情告诉祖宗。又命安定王休率领从官赴平城迎取眷属。十一月，徙居邺城行宫。
任城王澄至平城，留守百官始知迁都，莫不惊骇。澄援引古今迁都史实，多方开导，细加解说，众人无不折服。澄遂驰马南还邺城，孝文帝得到奏报，十分高兴地说：“若非任城，朕迁都大业难以成功。”
太和十八年（494）三月，孝文帝北巡至平城，临太极殿，引见留守百官大议迁都。他晓谕群臣说：“朕将迁都洛阳，诸位大臣各人谈谈自己的志向。”燕州刺史穆罴首先出班跪奏道：“迁都事大，依臣愚见，不宜迁都。”孝文帝平心静气地问道：“你就讲讲不能迁都的理由吧！”穆罴振振有词地说：“国家北有柔然之冠，南有荆扬（指南齐政权）未曾宾服，西有吐谷浑之阻，东有高句丽之难。四方未能平定，国家尚待统一。以此相推，所以不可。况征讨四方，需要大量戎马，如果没有马，怎能取得胜利？”孝文帝反驳说：“马常出北方，牧场设在代郡，何必担心无马？今代郡在恒山之北，九州之外，非帝王之都，正因这个缘故，所以要迁都中原。”穆罴仍不服气，接着非难道：“臣听说黄帝都于涿鹿。以此说来，古代圣王不必都要定都中原。”孝文帝应声答道：“黄帝以天下未定，居于涿鹿；既定之后，也迁都河南。”尚书于果接着奏道：“臣不以为代郡胜过伊、洛之美，但自先帝以来，久居此地，百姓已安，一旦南迁，众人未必乐意。”平阳公丕以老臣自居，也带着责备的口气说：“陛下去年亲率六军南讨萧氏，到了洛阳，派任城王澄至平城宣旨，命臣等议论迁洛。初奉恩旨，心中惶惑。迁都大事，应当讯问卜筮，审定是否大吉，然后定夺。”孝文帝耐心地回答道：“周公、召公是古代圣贤，乃能卜居相宅，往营洛邑。今日没有这样的圣贤，占卜又有什么益处！况且《左传》上说‘卜以决疑，不疑何卜’。黄帝占卜不成功，贤哲天老也说是‘吉’，黄帝听从了他的话，终至昌盛吉利，这样，具有全德的人预计未来就比龟卜还正确。作帝王的以四海为家，或南或北，哪能常居一地！朕的远祖，世代居于塞外荒凉之地；平文皇帝开始都于东木根山，昭成皇帝营建盛乐（今内蒙呼和浩特市）新城，道武皇帝又迁都平城，朕为什么就不能迁都中原？”一席话说得众人哑口无言。前怀州刺史青龙、前秦州刺史吕文恩等虽仍抱着顽固态度，也都辞屈而退。第二天，孝文帝亲临朝堂，宣布诏令，部分迁都洛阳。
十月，以太尉、平阳公丕为太傅，录尚书事，留守平城。孝文帝拜辞太庙，奉迁祖宗牌位，从平城出发，经邺城，于十一月下旬回到洛阳。为清定流品，他以清河大族、尚书崔亮为吏部郎，负责选举；为解决迁洛后战马缺乏的问题，他命后军将军宇文福巡视牧地，选定洛阳稍北的河南孟县一带作为新牧场，取名河阳牧场，每年从河西走廊的河西牧场将大批牲畜先徙牧并州（今山西一带），再步步南迁到河阳，这样可使牲畜渐习水土，不至死伤。河阳牧场常年畜养戎马十万匹，杂畜无数，以宇文福为司卫监，专事管理，致使牲畜蕃滋，略无耗失。
随着迁都的进行，大批鲜卑人源源不断地涌入内地，北魏政府又面临着许多新问题：鲜卑人的习俗是编发左衽，男子穿袴褶，女子衣夹领小袖，多数人不会说汉语，这些都不符合中原的习俗；且新迁之民初来洛阳，居无一椽之室，食无担石之储，不擅农业，人心恋旧。如不及时解决这些问题，将会严重地阻碍各民族之间的交往和经济文化的发展，不利于北魏政权的巩固。在王肃、李冲、李彪、高闾等汉族士人的支持下，迁洛之后，孝文帝立即着手改革鲜卑旧俗，全面推行汉化。
洛阳位居河南，距离南齐较近，需要北魏时常南下以保证南部的安全。太和二十一年（497）六月，孝文帝一行渡渭水入黄河，东还洛阳。返京后的第三天，即下令征发冀、定、瀛、相、济五州兵卒二十万，准备再次大举南伐。太和二十三年（499）孝文帝南伐时病死。
