始元六年（公元前81年）春二月，壶衍鞮单于即位，他的母亲行为不端，国内人心离散，常常担心汉朝派兵袭击。于是，卫律为单于出谋划策，想要与汉朝和亲。汉朝使者到匈奴后，索要苏武等人，匈奴人谎称苏武已经死了。后来汉朝使者再次来到匈奴，常惠私下会见汉朝使者，教使者对单于说：“天子在上林苑中射猎，射中一只大雁，雁脚上系着一块帛书，上面说苏武等人在某个大泽中。”使者听后非常高兴，按照常惠教的话去责问单于。单于看着身边的人，十分惊讶，向汉朝使者道歉说：“苏武等人确实还活着。”于是，匈奴归还了苏武和马宏等人。马宏是之前副光禄大夫王忠出使西域时，被匈奴拦截，王忠战死，马宏被俘，但他也不肯投降，所以匈奴放回这两人，想要以此向汉朝表示友好。（天汉元年苏武出使匈奴的事，详见《武帝伐匈奴》）
元凤元年（公元前80年），匈奴出动左右两部共二万骑兵，分成四队，同时侵入汉朝边境进行侵扰。汉朝派兵追击，斩杀和俘虏匈奴九千人，还活捉了瓯脱王，汉军没有什么损失。匈奴见瓯脱王被汉朝俘虏，担心他会为汉军带路来攻打自己，就向西北方向远远地退去，不敢再到南方来逐水草而居。匈奴还征发百姓屯驻在瓯脱地区。
元凤二年（公元前79年），匈奴又派遣九千骑兵屯驻在受降城（今内蒙古乌拉特中旗东），防备汉朝，在余吾水（今蒙古国鄂尔浑河支流土拉河）上架设桥梁，以便渡河，做好逃跑的准备。匈奴想与汉朝和亲，但又担心汉朝不答应，所以不敢先提出，常常让身边的人向汉朝使者暗示。不过，匈奴的侵扰和掠夺越来越少，对待汉朝使者也更加友好，希望能逐渐实现和亲，汉朝也对匈奴采取笼络的政策。
元凤三年（公元前78年）春正月，匈奴单于派犁污王窥探汉朝边境，说酒泉、张掖的汉朝兵力日益薄弱，可以出兵试探性地攻打，希望能重新夺回这两个地方。当时，汉朝事先得到投降的匈奴人，得知了他们的计划，汉昭帝下诏让边境地区加强戒备，后来并没有发生什么变故。右贤王、犁污王率领四千骑兵，分成三队，侵入日勒（今甘肃山丹县东南）、屋兰（今甘肃张掖市甘州区碱滩镇古城村）、番和（今甘肃永昌）。张掖太守和属国都尉发兵迎击，大败匈奴，只有几百人逃脱。属国的义渠王射死了犁污王，汉昭帝赐给他黄金二百斤、马二百匹，并封他为犁污王。从此之后，匈奴不敢再侵入张掖。
当初，冒顿单于打败东胡，东胡的残余部众逃散，分别退保乌桓山和鲜卑山，形成了乌桓和鲜卑两个民族，世代受匈奴役使。汉武帝打败匈奴的左部后，就把乌桓迁徙到上谷（今河北怀来东南）、渔阳（今北京密云西南）、右北平（今辽宁凌源西南）、辽东塞外，让他们为汉朝侦察匈奴的动静，还设置了护乌桓校尉来监督管理他们，使他们不能与匈奴交往。到这时，乌桓的势力逐渐强大，于是反叛。此前，匈奴三千多骑兵侵入五原（今内蒙古包头市西北），杀害和掳掠了几千人。后来，匈奴又派出几万骑兵南下，在边塞附近打猎，同时攻打塞外的亭障，掳掠官吏和百姓后离去。当时，汉朝边境各郡的烽火报警系统严密，匈奴进行侵扰难以获利，很少再侵犯边塞。汉朝又得到匈奴的投降者，得知乌桓曾经挖掘匈奴先单于的坟墓，匈奴非常愤怒，正准备出动二万骑兵攻打乌桓。霍光想要发兵截击匈奴，询问护军都尉赵充国的意见。赵充国认为，乌桓多次侵犯汉朝边塞，如今匈奴攻打他们，对汉朝有利，而且匈奴很少再侵扰北方边境，现在蛮夷之间相互攻击，我们却发兵截击，这是招惹灾祸、无事生事的做法，不可取。霍光又询问中郎将范明友的意见，范明友说可以出击。于是，汉昭帝任命范明友为度辽将军，率领二万骑兵从辽东出发。匈奴听说汉朝出兵，就领兵退去。当初，霍光告诫范明友，军队不能空手而回，如果错过匈奴，就趁机攻打乌桓。乌桓当时刚受到匈奴的攻击，范明友在错过匈奴后，就趁乌桓疲惫之际发起攻击，斩杀六千多人，还获得了乌桓三个王爷的首级。匈奴从此更加害怕，不敢再轻易出兵。
