武帝建元二年（前139年），张骞奉命率领一百多人，从陇西（今甘肃临洮）出发。一个归顺的“胡人”、堂邑氏的家奴堂邑父，自愿充当张骞的向导和翻译。他们西行进入河西走廊。这一地区自月氏人西迁后，已完全为匈奴人所控制。正当张骞一行匆匆穿过河西走廊时，不幸碰上匈奴的骑兵队，全部被抓获。匈奴的右部诸王将立即把张骞等人押送到匈奴王庭（今内蒙古呼和浩特附近），见当时的军臣单于（老上单于之子）。军臣单于得知张骞欲出使月氏后，对张骞说：“月氏在吾北，汉何以得往？使吾欲使越，汉肯听我乎？”这就是说，站在匈奴人的立场，无论如何也不容许汉使通过匈奴人地区，去出使月氏。就像汉朝不会让匈奴使者穿过汉区，到南方的越国去一样。张骞一行被扣留和软禁起来。

匈奴单于为软化、拉拢张骞，打消其出使月氏的念头，进行了种种威逼利诱，还给张骞娶了匈奴的女子为妻，生了孩子。但均未达到目的。他“不辱君命”、“持汉节不失”，始终没有忘记汉武帝所交给自己的神圣使命，没有动摇为汉朝通使月氏的意志和决心。张骞等人在匈奴一直留居了十年之久。也没有动摇他一定要完成任务的决心。他住在匈奴的西境，等候机会。

至元光六年（前129年），敌人的监视渐渐有所松弛。一天，张骞趁匈奴人的不备，果断地离开妻儿，带领其随从，逃出了匈奴王庭。

这种逃亡是十分危险和艰难的。在匈奴的十年留居，使张骞等人详细了解了通往西域的道路，并学会了匈奴人的语言，他们穿上胡服，很难被匈奴人查获。因而他们较顺利地穿过了匈奴人的控制区。

但在留居匈奴期间，西域的形势已发生了变化。月氏的敌国乌孙，在匈奴支持和唆使下，西攻月氏。月氏人被迫又从伊犁河流域，继续西迁，进入咸海附近的妫水地区，征服大夏，在新的土地上另建家园。张骞大概了解到这一情况。他们经车师后没有向西北伊犁河流域进发，而是折向西南，进入焉耆，再溯塔里木河西行，过库车、疏勒等地，翻越葱岭，经过了数十日的跋涉，到达大宛（费尔干纳盆地）。

张骞到大宛后，向大宛国王说明了自己出使月氏的使命和沿途种种遭遇，希望大宛能派人相送，并表示今后如能返回汉朝，一定奏明汉皇，送他很多财物，重重酬谢。大宛王本来早就风闻东方汉朝的富庶，很想与汉朝通使往来，但苦于匈奴的中梗阻碍，未能实现。汉使的意外到来，使他非常高兴。张骞的一席话，更使他动心。于是满口答应了张骞的要求，热情款待后，派了向导和译员，将张骞等人送到康居（今乌兹别克斯坦和塔吉克斯坦境内）。

由大宛介绍，又通过康居（今哈萨克共和国东南），到了大夏。大夏在今阿姆河流域。又遣人将他们送至大月氏。

张骞这才找到了大月氏。十多年来，大月氏这个“行国”已发生了很大变化：一是在伊犁河畔受到乌孙的攻击，又一次向西远徙。乌孙，63万人，也是个“行国”，曾在敦煌一带游牧，受过大月氏的攻击。后来匈奴支持乌孙远袭大月氏，大月氏被迫迁到阿姆河畔，而乌孙却在伊犁河留住下来。自从大月氏到了阿姆河，不仅用武力臣服了大夏，由于新的国土十分肥沃，物产丰富，并且距匈奴和乌孙很远，外敌寇扰的危险已大大减少，改变了态度，逐渐由游牧生活，改向农业定居，无意东还，再与匈奴为敌。当张骞向他们提出建议时，他们已无意向匈奴复仇了。加之，他们又以为汉朝离月氏太远，如果联合攻击匈奴，遇到危险恐难以相助。张骞等人在月氏逗留了一年多，但始终未能说服月氏人与汉朝联盟，夹击匈奴。在此期间，张骞曾越过妫水南下，抵达大夏的蓝氏城（今阿富汗的汗瓦齐拉巴德）。

张骞在大月氏逗留了一年多，得不到结果，只好在元朔元年（前128年），动身返国。归途中，张骞为避开匈奴控制区，改变了行军路线。计划通过青海羌人地区，以免匈奴人的阻留。于是重越葱岭后，他们不走来时沿塔里木盆地北部的“北道”，而改行沿塔里木盆地南部，循昆仑山北麓的“南道”。从莎车，经于阗（今和田）、鄯善（今若羌），进入羌人地区。但出乎意料，羌人也已沦为匈奴的附庸，张骞等人再次被匈奴骑兵所俘，又扣留了一年多。

元朔三年（前126年）初，军臣单于死了，其弟左谷蠡王自立为单于，进攻军臣单于的太子于单。于单失败逃汉。张骞便趁匈奴内乱之机，带着自己的匈奴族妻子和堂邑父，逃回长安。这是张骞第一次出使西域。从武帝建元二年（前139年）出发，至元朔三年（前126年）归汉，共历十三年。

张骞出使时带着100多人，历经13年后，只剩下他和堂邑父，还有他的匈奴妻子三个人回来。这次出使，虽然没有达到原来的目的，但对于西域的地理、物产、风俗习惯有了比较详细的了解，为汉朝开辟通往中亚的交通要道提供了宝贵的资料。

汉武帝对张骞这次出使西域的成果，非常满意，特封张骞为太中大夫，授堂邑父为“奉使君”，以表彰他们的功绩。

张骞回来以后，向武帝报告了西域的情况。这就是《汉书·西域传》资料的最初来源。之后，由于张骞随卫青出征立功，“知水草处，军得以不乏”，被武帝封为“博望侯”。

元狩四年（公元前119年），张骞第二次奉派出使西域。这时，汉朝业已控制了河西走廊、积极进行武帝时对匈奴最大规模的一次战役。几年来汉武帝多次向张骞询问大夏等地情况，张骞着重介绍了乌孙到伊犁河畔后已经与匈奴发生矛盾的具体情况，建议招乌孙东返敦煌一带，跟汉共同抵抗匈奴。这就是“断匈奴右臂”的著名战略。同时，张骞也着重提出应该与西域各族加强友好往来。这些意见得到了汉武帝的采纳。

张骞率领300人组成的使团，每人备两匹马，带牛羊万头，金帛货物价值“数千巨万”，到了乌孙，游说乌孙王东返，没有成功。他又分遣副使持节到了大宛、康居、月氏、大夏等国。元鼎二年（公元前115年）张骞回来，乌孙派使者几十人随同张骞一起到了长安。此后，汉朝派出的使者还到过安息（波斯）、身毒（印度）、奄蔡（在咸海与里海间）、条支（安息属国）、犁轩（附属大秦的埃及亚历山大城），中国使者还受到安息专门组织的二万人的盛大欢迎。安息等国的使者也不断来长安访问和贸易。从此，汉与西域的交通建立起来。

元鼎二年（公元前115年），张骞回到汉朝后，拜为大行令，第二年死去。他死后，汉同西域的关系进一步发展。元封六年（公元前105年），乌孙王以良马千匹为聘礼向汉求和亲，武帝把江都公主细君嫁给乌孙王。细君死后，汉又以楚王戊孙女解忧公主嫁给乌孙王。解忧的侍者冯镣深知诗文事理，做为公主使者常持汉节行赏赐于诸国，深得尊敬和信任，被称为冯夫人。由于她的活动，巩固和发展了汉同乌孙的关系。神爵三年（公元前60年），匈奴内部分裂，日逐王先贤掸率人降汉，匈奴对西域的控制瓦解。汉宣帝任命卫司马郑吉为西域都护，驻守在乌垒城（今新疆轮台东），这是汉朝在葱岭以东，今巴尔喀什湖以南的广大地区正式设置行政机构的开端。

匈奴奴隶主对西域各族人民的剥削、压迫是极其残酷的。西汉的封建制度，较之匈奴的奴隶制度要先进得多。因此，新疆境内的各族人民都希望摆脱匈奴贵族的压迫，接受西汉的统治。西汉政府在那里设置常驻的官员，派去士卒屯田，并设校尉统领，保护屯田，使汉族人民同新疆各族人民的交往更加密切了。