徐达率军入山西，派都督蓝玉为先锋，出雁门关，先于野马川击败元军前哨骑兵，随后又于土刺河打败扩廓帖木儿。五月，徐达指挥明军进军岭北。这时，从土刺河败逃的扩廓帖木儿，与贺宗哲合兵一起，拼死抗拒明军。结果，明军大败，死伤惨重。徐达收拢将士扎营固守，才得以摆脱困境。朱元璋以徐达功勋卓著，对这次兵败未加责问治罪。其余东、西两路明军，只有冯胜进兵至西凉，一路告捷。

朱元璋的重要谋臣刘基曾提醒说：“不可轻视扩廓帖木儿，这个人是真正的将才。”早在大都被攻破之前，朱元璋曾多次写信派人劝扩廓帖木儿投降。元顺帝逃往塞外后，朱元璋又使人送信劝扩廓帖木儿投降，甚至册封扩廓帖木儿的妹妹为第二子秦王的妃子。最后派降将李思齐去作说客。见面时扩廓帖木儿以礼款待，辞回时还派骑兵送到双方交界地。李思齐正想告别，骑士说道：“奉总兵之命，请留下一件东西作纪念。”李思齐说：“我因公差远道而来，无什么东西回赠。”骑士便直接说道：“我要你一只手臂。”李思齐心知不可避免，只好砍下一只手臂，回来后不久便死了。由此之后，朱元璋心中敬佩扩廓帖木儿忠于其主。有一次大会诸将，朱元璋问道：“天下的奇男子数谁？”诸将都说：“常遇春率领万人，就可以横行无敌，是真正的奇男子。”朱元璋笑着说道：“常遇春确实是人中豪杰，但他早就是我的臣下了。我不能收伏王保保为臣，是一件大憾事，他就是真正的奇男子呀！”

洪武六年，扩廓帖木儿率兵南下，攻击雁门关。朱元璋命令守边将领严加防御，不可轻易出击。这一年，徐达留守北平，尽心整顿边备。十一月，元军进犯大同，徐达调兵遣将将其击退。洪武八年，扩廓帖木儿死后，元朝残余势力对明的进犯虽有所减弱，但边患问题并没有完全解除。洪武十四年，徐达率军出塞，一直进至黄河最北端，大破元兵，擒获平章、太史等官员，得胜而还。

徐达从洪武四年受命镇守北平，此后十多年间，数次率兵出塞，使元朝的残余势力不敢轻易南下，将其扼制在长城以北。十多年中，徐达每年春天奉命赴北平，冬暮又奉命回京，不辞辛劳，对安定北方的军事形势起着重大作用。朱元璋由衷称誉徐达是“万里长城”。

洪武二年春正月，朱元璋下诏建立功臣庙，并亲自确定功臣的位次，以徐达为第一，其后是常遇春、李文忠、邓愈、汤和、沐英、胡大海、冯国用等人。功臣庙建在应天（今南京）城西七里的鸡鸣山下，凡是被列入名次的功臣，都有塑像立于庙中。

大封功臣是朱元璋巩固朱明王朝的重要措施之一，被封公封侯的功臣，绝大多数都是百战沙场的将军。徐达是这些农民将领中的杰出人物。但徐达能够成为朱明王朝的第一开国功臣，并不仅仅因为他是朱元璋的老乡、少年时代的好伙伴。

世代农家出身的徐达，小时候与朱元璋一起给地主放过牛，自然没有条件和机会进学堂接受知识教育。史书上称徐达少年时代便怀有大志，成人后性格刚毅，勇敢无畏。自从跟随朱元璋投军后，徐达很快就成为一名带兵的将领，并深得朱元璋信任。他在连年征战的环境中，虚心学习，向人求教，逐渐阅读熟悉了兵书，掌握了一个高级将领必须具备的军事知识。每当临敌作战时，徐达总是与部将一起分析形势，制订作战方案，他的分析预料往往高人一筹，令部将信服。当明王朝建立，生活相对安定后，徐达仍然不耻下问，经常请延讲儒士给他讲解古书。虚怀若谷，汇纳百川，徐达以这种谦谦进取的态度，在几十年的戎马征战中，养成了长于谋略、料敌如神、指挥若定，所向必胜的军事才能，从一个普通的农家子弟，成为能统率百万大军、功勋卓著的杰出将领。

徐达自带兵以来，始终号令明肃，所到之处，百姓宴然。每当攻取一个新的城镇，徐达都要重申军令，严厉禁止烧杀抢掠的行为，凡是违反军令的，立即以军法处治，斩首示众。在消灭陈友谅的历次战役中，有一次，徐达与常遇春一同伏击敌军，斩首万人，生俘三千。常遇春要杀掉俘虏，他说：“这是我们的死对头，不杀就会留下后患。”徐达一面制止常遇春的野蛮做法，一面急速派人报告朱元璋。但常遇春还是乘夜活埋了一半俘虏。朱元璋知道后大为生气，下令将剩余俘虏全部释放。从此之后，大军出征，朱元璋总是任命徐达担任统帅，约束众将。

徐达率北伐大军攻克元大都后，立即派兵守卫皇宫大门，并让宦官负责看护宫女、妃嫔、公主，严禁将领土卒随便入宫侵犯骚扰。朱元璋曾对文武大臣说过：“治军持重，纪律严明，攻无不克，战无不胜，深得为将之体者，莫如徐达。”