吕文德遂行稳守反击之策，其当面之敌是兀良合台，此人是个老鞑子，指挥能力炉火纯青，打仗向来稳妥，但他为了及早接应忽必烈而采取攻势，导致军力大损。
以蒙古亲王之尊，如果忽必烈不幸，则相干人等必招严惩，绝不轻饶！
因此兀良合台不管不顾地挥军猛攻，其签军、汉军折损得七七八八，已无力进攻。
吕文德知晓兀良合台的情况，又听闻侧翼的高达部向鞑军宗王拔绰展开反攻，接连得手，一时间吕文德不合起了争胜之心。
他对堂弟吕文焕道：“高玉甫（高达的字）是吾等晚辈，且地位低于吾辈，若其建功，吾辈岂有面子乎！”
吕文德打算改弦易辙，吕家军转入全面进攻，打败兀良合台。
吕文焕乃吕家军中扮演手执白纸扇的军师角色，他是一个智者，认为不妥，不同意向兀良合台开战，理由是目前我军占优，就这样打下去，鞑子没有了补充，日暮途穷，其军自败也。
他头脑清醒，坚决反对出战，奈何吕文德牛心，在他看来，大宋东有吕家军，西有孟家军，两军齐名，乃大宋的架海紫金梁，撑天白玉柱！
今孟之祥在四川建功，大破鞑子，吕家军岂能落后？
如若高达胜出，岂不是新崛起一个高家军，要知道高家军乃是粗粗组建的部队，他们都能打败鞑子，岂不是让朝廷和世人看轻了吕家军？
加上吕文德其余的弟弟、子侄与部将们同声附和，他们一直不能畅意杀敌，嘴里早就淡出了鸟来，只想打个痛快。
吕文焕反对无效，吕家军转入反攻，他们离开了深沟厚垒的大营，向着鞑子杀去。
听闻宋军出动，兀良合台精神一振！
如果宋军一直不出动，兀良合台就是老虎拉龟，无处下手。
宋军一出动，兀良合台即时后撤，于路丢弃营盘、物资和旗帜，表现出力不能敌之势。
他这样诱敌深入的计谋，吕文焕一眼识穿，马上来劝吕文德见好就收，稳扎稳打为上。
无奈吕文德被猪油蒙了心，认为：“纵使鞑军有埋伏，其兵微将寡，何足道哉！吾辈勇猛，常山（吕文焕的字）不必多虑，看小儿辈手段即可！”
他以子侄辈的吕师夔、吕师龙、吕师道、吕师孟、吕师望五人率军八千为前驱，他领兵三万接应，让他们发挥出初生牛犊不怕虎的精神，力迫老鞑子兀良合台。
兀良合台则投其所后，于路撤退，然后纠集真鞑军队八千，兀良合台亲自带队，暴起反击！
他对诸军道：“世人皆说我老，诸君随我，破南蛮就在今日，让他们见识大朝威风，看我老是不老！”
众鞑齐曰：“喏！”于是奋勇向前。
五吕与鞑子甫一接战，立即就发现不对头了。
鞑子极为勇猛，悍不畏死，一边倒杀得宋军死伤极多！
五吕虽然极力招架，奈何鞑子暴发出惊人的战斗力，如虎似狼，将宋军打得大败！
吕师夔见势不妙，第一个脚底抹油，先逃为敬。
吕师道、吕师孟跟着逃，吕师龙不忿，上前欲与兀良合台交战，兀良合台须发俱白，冲着吕师龙大喝一声：“呔！”
吓得师龙心胆俱裂，掉转马头，可耻地逃开，竟不敢交战。
而吕师望遇着鞑将唆都大战十余合，被打落马下，其牙兵死战，才将吕师望救回。
唆都全名为札剌亦儿·唆都，年轻小辈，颇有勇武，初任蒙古藩王忽必烈的怯薛（宿卫），从征大理国，这次忽必烈到兀良合台军中议事时，留下了唆都，让他负起监视兀良合台之责。
见兀良合台并无背叛忽必烈之心，唆都遂申请出战，败吕师望。
兀良合台轻破五吕，率军突击吕文德本部兵马，势如排山倒海，吕部竟不能敌，被压着来打，纵使军多，也派不上用场。
此战鞑子打得荡气回肠，向世人露出了锋利的獠牙，尽显蒙古横扫天下的威风！
鞑子箭发如风，刀挥如电，一路冲锋陷阵，宋军中令人引以为豪的吕家军表现极为不堪，部将吕万利，吕万洪是两兄弟，乃吕文德的远房亲戚，在此战中战死，另一个亲戚吕锡伟则被鞑子砍了脑袋，同乡陈建良、袁鹏举死于乱军中，有名有姓的部将也有十余员阵亡于此战。
周围各军都被打败打散了，吕文德被鞑子围着，左冲右突杀不出重围，周围鞑军围拢过来，只急得他一身冷汗。
正在这叫天不应叫地不灵的危急时分，突然一军杀到，乃女婿范文虎前来接应。
范文虎，若在平行空间时降元，以日本行省右丞领兵十万随忽必烈第二次征倭岛，可惜事情不谐，否则倭岛有可能是中华的东瀛省了。
此时他当然是忠于大宋的，他奋力作战，杀开一条血路，保着吕文德离开鞑子的包围圈，逃之夭夭。
吕文德逃跑，路遇吕文焕，用绷带包着右手，惊问其故，原来吕文焕右臂中箭，连忙包扎。
据郎中所言
，吕文焕这条手臂伤及筋骨，即使好了之后，也会转动不灵，影响使用。
“是吾故也！”吕文德痛苦地摇头，后悔不迭，若听了六弟（吕文焕排名第六，是为吕六）之言，何致于我军有如此大损也！
他回营后把气出在儿子们身上，痛骂他们道：“人说女婿是半子，若不得半子来救，吾不能见尔等一子矣！”
诸吕闻言后无不羞愧！
吕文德三万八千人被打败，损失大半兵力，还造成连锁反应。
兀良合台老尔弥辣，破吕部后马不停蹄，转向急袭高达军后方的铜山！
铜山是高达军军粮所在，向来防御森严，但没想到来自鞑军的侧击，结果铜山失守，造成曹操破袁绍乌巢的后果。
看到后方浓烟滚滚，知道军粮地所在，高达军的军心大乱。
鞑子宗王拔绰得知消息，与兀良合台合击高达。
高达军实际上是支组建不久的新军，虽有一定的作战能力，但韧性不足，受到鞑军前后夹击，显然超出了他们的应付能力范围，结果高达军大败。
他损失了大半兵力，营垒与物资尽弃，与吕文德殊途同归，一路向东败逃，两人合兵一处，勉强在旌德、绩溪和千岛湖一线停住脚步驻扎下来，此时鞑军距离杭州城二百里。
一时鞑军形势大好，呈西面与北面两路夹击临安之势！