第二年，武帝和诸将商议说：“翕侯赵信为单于出谋划策，总认为汉朝的士卒不能横穿沙漠轻易停留，现在我们发大军出征，一定会取得胜利。”这一年是元狩四年。春天，武帝派大将军卫青、骠骑将军霍去病各率领五万骑兵，另有步兵和运输部队紧随其后有数十万人，那些敢于死战不怕深入敌阵的士卒都属于霍去病。霍去病开始准备从定襄出发，直指单于部。后捉到俘虏，俘虏说单于在束面，于是皇帝改令霍去病从代郡出发，令卫青从定襄出发。郎中令李广为前将军，太仆公孙贺为左将军，主爵趟食其为右将军，平阳侯曹襄为后将军，都属大将军卫青指挥。赵信为单于出计谋说：“汉朝军队就是度过大漠，兵马也很疲乏了，我们可以坐收俘虏。”于是单于把辎重都运送到北方很远的地方，衹将精兵布署在沙漠北面等待汉军。这时恰好卫青的部队出塞一千多里，看到单于率军在等待汉军，卫青即命士兵用武刚车环绕布成阵营，派出五千骑兵前去冲击匈奴军，匈奴也派一万余骑兵来攻。这时正是日落时分，刮起大风，沙砾扑面，两军互相看不见，汉军派出左右两侧部队包抄单子。单于看见漠兵众多，而且兵强马壮，打下去对匈奴不利，便趁着黄昏乘着六匹骡拉的车，带着几百名精壮骑兵冲破汉军的包围向西北逃去。这时天已昏黑，汉军和匈奴军相互混战，双方伤亡相当。汉军的左校捉到俘虏，供说单于已经在天未黑时逃离。汉军于是派轻骑兵连夜追击，卫青紧随在后面。匈奴兵四散逃跑。在天亮时，汉军追了二百多里，没有追上单于，捕杀敌人一万多，到达寅颜山赵信城，获得匈奴积蓄的军粮，用来供给部队食用。大军在这裹停留了一天才返回，行前将剩余的粮食全部烧毁。
在卫青与单于会战的时候，前将军李广、右将军趟食其的部队另外从东面进军，有时走错了道路。在大将军卫青率军回来，到大漠以南，才碰到他们。卫青要派人到朝廷报告情况，令长史根据文书所列罪状去责问李广，李广自杀。趟食其赎罪为民。卫青回到边塞以内。卫青共杀敌一万九千多人。
这时匈奴部众找不到单于已十余天了，右谷蠡王就自立为单于。单于后来找到他的部众，右谷蠡王才去掉单于的称号。
霍去病所率领的骑兵和辎重与大将军卫青的相等，而没有副将。全都任用李敢等人为大校，当作副将。他从代和右北平郡出击两千余里，直指匈奴左贤王的军队，斩杀和俘虏敌人的功劳超过卫青。
出征回来以后，皇上说： “骠骑将军霍去病率军出征，亲自带领俘获的匈奴兵，少带器物，深入大漠，过河活捉单于大臣章渠，诛杀北车耆王，又转攻左大将双，缴获敌人的军旗战鼓。又越过难侯山，渡过弓卢水，抓获屯头王、韩王等三人，将军、相国、当户、都尉等八十三人。在狼居胥山祭天，在姑衍山祭地。登山眺望翰海。抓获俘虏七万零四百四十三人，自己的士卒大约伤亡十分之二。又向敌人夺取军粮，行军极远而粮草不断。以五千八百户加封骠骑将军。右北平太守路博德作为骠骑将军的部下，在兴城会师，不误期，跟从骠骑将军打到梼余山，斩敌捕虏二千八百人。封路博德为邳离侯。北地都尉卫山跟从骠骑将军活捉匈奴王，封卫山为义阳侯。原来的归义侯因淳王复陆支、楼剥王伊即轩跟从骠骑将军作战有功，封复陆支为杜侯，伊即轩为众利侯。从票侯赵破奴、昌武侯赵安稽跟从骠骑将军立有战功，各加封三百户。渔阳太守解、校尉李敢都缴获敌人旗鼓，赐给爵位关内侯，解的食邑为二百户，李敢的食邑二百户。赐校尉徐自为爵左庶长。”霍去病部队的官兵升官和受赏的很多。而卫青没有得到加封，手下的官兵也没有受封的。衹有西河郡太守常惠、云中郡太守遂成受到奖赏。遂成的职位同于诸侯王国的相，赐给食邑二百户，黄金一百斤。赐给常惠爵关内侯。
卫青、霍去病两支部队出征塞外时，边塞官吏检阅官马和私人的马共有十四万匹，而战后回到塞内的马不足三万匹。朝廷就设置大司马的职位，让卫青和霍去病都为大司马。制定这个法令，使骠骑将军的秩禄与大将军相等。从此以后，卫青的权势曰益衰落而霍去病则H益显贵。卫青的许多旧朋友和门下宾客多数去投靠霍去病，也多能得到官爵，衹有任安不肯离去。
霍去病为人沉默寡言，有勇气，敢做敢为。武帝曾经要他学习吴起、孙武的兵法，他回答说：“打仗衹看谋略，不必学习古代的兵法。”武帝替他修建了一座宅第，让他去看看，他回答说：“匈奴不消灭，就无以为家。”因此汉武帝更加重视和宠爱他。但是霍去病很小就在皇帝身边任侍中，贵宠惯了，不大关心士兵。他率领部队出征时，皇帝还要专门派太官为他带数十车生活用品，回来时丢掉剩余的米和肉，而士兵却有挨饿的。在塞外作战时，士兵们缺乏军粮，有的人饿得爬不起来，而霍去病却还要开辟场地，踢球玩乐。此类事情很多。大将军卫青为人仁慈，热爱士兵，谦和礼让，靠和善柔顺来讨好皇上，但天下却没有称赞他的人。
霍去病自元狩四年出兵以后的第三年，即元狩六年去世。武帝很悲伤，调发附属国穿黑衣的士兵，从长安列队直到茂陵。在茂陵园为他修筑坟墓，形状像祁连山。并为他定谧号，合并“武”和“广地”两层意义称为景桓侯。他的儿子霍嬗袭爵位，霍嬗字子侯，武帝喜爱他，希望他长大后再做将军。霍嬗后来任奉车都尉，在随皇上去祭泰山时死去。因为霍嬗没有儿子，封国被废除。
霍去病死后，卫青长子宜春侯卫伉因犯法免去了侯位。五年后，卫伉的两个弟弟，阴安侯卫不疑、发干侯卫登二人都因进献祭祀黄金缺少份量而丢了侯位。二年后，冠军侯霍去病的封国断绝了继承人。四年后，元封五年，卫青去世，谧号烈侯。长子卫伉继承侯位，六年后犯法免侯。
自卫青围歼单于后十四年而去世，这期间之所以没有再击匈奴，是由于汉朝军马少，又加上南伐两越，束讨朝鲜，西击羌，征西南夷，因此长期不击匈奴。
当初，卫青显贵以后，平阳侯曹寿患恶疾回到封国，长公主问：“列侯当中谁最贤能？”左右人等都说大将军卫青。公主笑着说：“他从我家长大，常常骑马跟随我，他又怎么样呢？”左右人说：“现在可尊贵无比了。”于是长公主便向皇后讲了自己的意思，皇后又如实转告，皇上便下令让卫青娶了长公主，死后又合葬一处，修起的坟像庐山一样。
大将军卫青总计七次出击匈奴，斩杀、俘获敌五万余人。与匈奴一战，便收复河套以南的地区，设置了朔方郡。再增加封赏，共计一万六千三百户；封三子为侯，每人一千三百户，共二万零二百户。副将及校尉封侯者九人，特别派遣的将军十五人，李广、张骞、公孙贺、李蔡、曹襄、韩说、苏建都自有传。