张骞出使西域回来后，与大将军卫青一同向汉武帝提出建议：深入沙漠，主动出击攻打匈奴。汉武帝采取了这一计划，决心打开通往西域的道路。
张骞对卫青说：“要战胜匈奴，必须熟悉沙漠地形、道路、水草地的位置，我决心随军作战，听大将军指挥。”卫青听了非常高兴，派张骞做校尉，随大军启程前进。公元123年，十几万汉军从定襄出发，去征伐匈奴。
大军出塞的当夜，部队在一块水草地宿营。三更过后，与匈奴军展开激战，汉军左手持盾，右手举刀，奋力斩杀。
年轻的校尉霍去病带一支精兵，冲破敌阵，敌军溃散了。汉军追杀到下午，大将军卫青望着无边的沙漠，问张骞：“还能再追吗?”
张骞说：“应当停止追击，去夺取附近的一块水草地。”当晚大军在水草地扎下。张骞对卫青说:“东北方向的一块水草地常有匈奴重兵驻扎。”卫青立即派霍去病率领八百精兵去袭击。
汉军像旋风一样冲进了匈奴的营地，匈奴军毫无防备，被杀两千余人，还杀了单于的叔祖父和许多贵族，单于的叔父被俘。
同年四月，卫青又率领十几万骑兵出长城作战，给匈奴军更沉重的打击，匈奴单于不敢靠近长城驻扎，远远迁移到沙漠以北去了。汉武帝因张骞出使西域和对匈奴作战的功绩，封张骞为“博望侯”。
