从高宗统治时期开始，“西域”的地理所指再度西挪。

“西域”所指范畴的西迁，伴随着唐朝边境的不断向西拓展。

高宗显庆二年（657年）冬，苏定方率唐军击败西突厥沙钵罗可汗（阿史那·贺鲁），沙钵罗逃至地处中亚的石国，唐将萧嗣业衔尾而至，兵围石国国都。在唐军兵威之下，石国国王献沙钵罗臣服。

次年，龟兹国（今新疆库车）内部陷于纷争，高宗召龟兹王布失毕与龟兹相那利入朝。二人到长安后，将那利囚禁起来，放回布失毕主国政。

但布失毕归国途中，龟兹大将羯猎颠带兵堵住国境，不许其回国，布失毕悒悒而死。

高宗以左屯卫大将军杨胄领兵击之，一战而擒羯猎颠，尽诛其同党，遂立布失毕之子白素稽为王。

唐朝在龟兹设龟兹都督府，管辖九个羁縻州。显庆三年五月，迁安西都护府于龟兹，以旧安西都护府为西州都督府，守高昌故地。

至此，南疆沙漠绿洲地区的宗主权，由西突厥可汗王庭转至唐朝囊中。

《唐通典》有记，“龙朔元年661，吐火罗置州县使王名远进《西域图记》，并请于阗以西、波斯以东十六国分置都督府及州八十、县一百、军府百二十六，仍于吐火罗国立碑，以纪圣德。帝从之。”

注意此时，王名远所进的《西域图记》里，西域的范围只有“于阗（今新疆和田）以西、波斯以东”的地区。

不但不包括北疆的伊、西、庭三州，甚至就连南疆的龟兹、于阗、焉耆、疏勒并称的“安西四镇”，也不在其内。

可见，此时唐朝虽未在安西四镇驻军（每镇五百人的兵额，实在谈不上驻军，当警察维持治安还凑合），但在从行政级别上说，安西都护府已等同于唐朝的直辖州。

“西域”之名再次向西延伸，于阗以东的土地均为唐境，不再纳入西域之内。

但必须要承认，受限于南疆广袤的沙漠地形，唐朝对此地的控制力度非常薄弱。如果说北疆伊、西、庭三州的“镇抚结合”以“镇”为主，那南疆则明显是以“抚”为主。

因此，南、北疆所设的羁縻州在实际意义上，并不完全相同。而安西四镇的设置，则呈现一种介于州县制与小邦国王间的过渡形式，是胡汉并存统治方式的具体表现。

正是由于以“抚”为主，几无驻军的的特点，安西四镇设置之初，多次出现易手。

咸亨元年670，吐蕃大军进攻西域，先占于阗，又陷龟兹拨换城今阿克苏，唐朝罢四镇，安西都护府撤回西州。

上元元年674年十二月，于阗王伏阁雄击走吐蕃，唐朝以于阗为毗沙都督府，同时，唐朝又增设了疏勒、焉耆二都督府，安西四镇得以恢复。

上元二、三年675-676，唐朝又把西域南道上的两个重镇——鄯善和且末划归沙州直辖，改称石城镇和播仙镇。塔里木盆地的东南区域，变成与西、伊、庭三州一样的唐朝直辖领地。