当拓跋焘大举攻夏之际，柔然见魏军方有事于西方，又屡屡侵扰边界，神麔元年(428)，柔然骑兵万余攻入塞内，大掠边民而走。因此，拓跋焘决定再行北伐柔然。神麔二年(429)四月，拓跋焘治兵于南郊，分军遣将，平阳王长孙翰领军自西道向大娥山，拓跋焘领军自东道向黑山(今内蒙古和林格尔西北)，同会于柔然可汗庭(今蒙古人民共和国哈尔和林西北)。五月，东道魏军到达漠南，舍弃辎重，轻骑奔袭。兵至粟水(今蒙古人民共和国西北部之翁金河)，柔然可汗大檀闻听北魏大军来到，不及设备，只得携其家族，焚毁屋舍西遁，部落四散，畜产布野，无人收视。大檀弟匹黎先闻有魏军来攻，帅众欲来救援，恰遇西道魏军到达，被魏军击溃。拓跋焘率魏军沿粟水西行，六月，到达离平城三千七百余里的菟园水(今蒙古人民共和国杭爱山南之推河)，魏军分兵搜讨，东至瀚海(今蒙古高原东北境)，西至张掖水(今纳林河)，北越燕然山(今杭爱山)，原来受柔然控制的高车诸部也趁机摆脱柔然，先后归附北魏者有三十余万落之多，所获牛马百余万匹。七月，拓跋焘引兵东还，回到漠南，闻东部高车屯驻已尼陂(今贝加尔湖)，人畜甚众，遂遣左仆射安原等领骑兵往攻之，招降东部高车数十万落，将他们劫往漠南北魏控制地区。十月，魏军凯旋回到平城。

　　柔然的强盛，本来是靠高车部落的依附，一旦高车挣脱统治，柔然汗国的势力，便骤然削弱，可汗大檀以部落衰弱，恚恨发病而死。此后，拓跋焘在太平真君四年(443)和十年(449)又两次亲征，击败柔然，使柔然怖威北窜，不敢复南，消除了北部边境的威胁。

　　击败柔然后，拓跋焘整顿了北边的镇戍。北魏在北部边境设置镇戍，起于道武帝拓跋圭时，其时，拓跋族正步入中原，为免除柔然入侵带来的后顾之忧，在边境地区设置镇戍，配备镇兵御边。明元帝拓跋嗣时，又进一步增设镇戍，在西起五原(今内蒙古包头西北)、东至赤城(今河北赤城)，绵延二千多里的边境上筑长城，配置镇戍。拓跋焘在征服柔然后，对北边镇戍加以完善，使之制度化，西暨五原、东至濡源(今河北东北部滦河)，三千多里的边境上，分设六镇，徙柔然、高车降附之民居之，各镇设置府司，增置吏员。不久，又诏令数有战功，兼悉北境地形的来大千巡抚六镇，经略布置。这样，就使原来仅仅为了御边而设置的镇戍成为边境一级地方政权，兼理军民政务。此后，这一套镇戍制度便相沿传至北魏末，直到六镇起义后，才改镇为州。