到了五月中旬，前方报来的不再是捷报，而是凶讯。
依着原先太宗所订的军事部署，大军分三路出兵：东路由曹彬等率领为宋军主力，采取缓慢行军战术，虚张声势，向幽州进发，以牵制辽军的主力；中、西路军分别由田重进和潘美率领，同时出击，速战速决，吃掉辽军右翼，然后中、西路军会合东进，与东路主力合势攻取幽州。北伐开始后不久，西路军收复了云、应、寰、朔等四州；中路军也攻下了飞狐、灵丘、蔚州。因此上捷报频传。
但是远在前方的曹彬东路军，眼见田重进部潘美部捷报频传，不由心中着急，再者此时见一路打来，辽军一击即溃，实无太大的作战能力。如此缓缓行军，何时能到幽州。一急之下，副将崔彦进提议加速行军，攻城克府直抵幽州，同时也可援助其他方面军作战。曹彬虽觉不妥，然而一战下来，新城固安等一击即破，军心大振，紧接着，又攻下了琢州等地。
中、西两路宋军频频进攻，屡战屡捷，实属意料之中，然而东路军进展神速，一路奏捷，连太宗也颇为惊讶。由于东路军打的是胜仗，固属嘉奖之列。因此，即使曹彬的行动与事先部署相悖，太宗依然下旨嘉奖。
整个计划就这样开始打乱了，北伐部署就这样开始走调。曹彬占领涿州后，父老乡亲见中原大军到来，百姓箪食壶浆，以迎王师。对着大军牵衣相泣道：“自五代十国以来，我等生活在胡虏之下，已近百年了。数代祖辈对南相望，不得归骨故乡。如今有生之年，又能见到中原大军到来，真是三生有幸哪！”场面之热烈，令人不禁泪下。
曹彬也不禁唏嘘不已，可是此时面临着的，不仅是大军的粮草问题，连城中百姓的粮食也无着落。辽军撤退之时，早将城中粮草尽行转移掉了。
辽帅耶律休哥奉萧太后旨，采用坚壁清野之计，令曹彬军无粮无草，不得前行，只得退兵补充粮草。辽军以逸等劳，采用游击战术，让曹彬军疲于奔命。等曹彬军粮草补齐再次进攻涿州不成，退兵之时，在歧沟关中了耶律休哥的埋伏，兵马折损了大半，曹彬败退至易州。
败绩报至京城，太宗大惊，曹彬大军的败退，使得原计划中三军会师幽州城下的布置已经失败。此时田重进部和潘美部已经深入辽境，若是再遭伏击，后果不堪设想。因此立即下旨，令曹彬、崔彦进、米信立刻回京，命田重进部撤军回屯定州，潘美部全线撤军返回还代州，念原云、应、寰、朔四州的百姓盼归故土，令潘美护送四州百姓返回宋境，与吐谷浑各部族百姓分置河东、京西等地。
大军败绩，对于潘蝶来说，不亚于晴天霹雳。然而更大的风雷仍在后面。潘美人未返京，已经有人伏阙告状。由于潘美副将杨业战死寰州，杨业之妻折氏上奏，状告主帅潘美和监军王侁指挥有误，不依约定，致使杨业全军覆灭，杨业被掳绝食而死。
“这杨业是什么人？凭什么他的死，要怪到爹爹的头上来？”潘蝶看着潘美斑白的头发，忍不住问道。
也不过是半年功夫，潘美似乎老了足足十年，头上陡然多了许多白发，潘蝶看着老父的苍老，心中暗暗惊惧，原来这样一个仿佛山一样可依靠的人，苍老下来，竟然也会如此之快。想着他出征时大将军威风八面，如金甲神人似地。与此时躺上病榻上的老人，竟是判若两人了。