日军的战史描述了伊藤联队的窘境：“此时夜幕漆黑，联队长在前进中只能借着无线报话机了解各大队状况。但由于山岳地带一场混战，21日联队本部便与各部队失去了联系。联队本部孤军前进，夜半时分行至佘儿垭北侧高地，受到敌军包围，敌众我寡，我军顽强奋战。21日，敌人的攻击逐渐加剧，此时本部依然没有与部队恢复联系。
13时30分，敌人一枚手榴弹在军旗下爆炸，联队长和旗手立元义则少尉受伤，卫兵三人死亡。右腿被炸伤的联队长，无畏地亲自护持军旗，激励周围的士兵，指挥战斗。然而死伤者仍在递增，危机迫在眉睫”。
这是张灵甫给来督战的赤鹿理的一个下马威。20日晚上，他的58师与周志道51师配合，各派出一个营分别从白鹤山和羊角山杀出，以攻对攻，向敌人的两翼发起进攻，打了一个漂亮的防守反击战，歼敌近千，虏获枪支三百余，骡马四十余匹及诸多军用品。日军所谓“山岳地带一场混战，21时联队本部便与各部门失去联系”，就是指58师和51师的这次主动出击。
赤鹿理总算明白，伊藤确实没有夸大对方的顽强，在劣势防御中被他的飞机和炮火狂轰四天的58师，在遭受极大伤亡的情况下，居然还敢于在黑夜里主动进攻，他在中国的战场上还极少遇到作战意志如此顽强大胆的对手，他决定不与对面玩命的张灵甫硬拼，好在增援部队已经就位，他手头有了宽裕的兵力可供调配。
赤鹿理派出佐佐木支队，由东岳观经市场河、岩泊渡、零阳山绕到龙潭河附近，向58师阵地的后侧包抄，同时出动伞兵在龙潭河观音桥（现长岩村）空降，夜袭74军在龙潭河附近的军、师司令部。张灵甫一面应付敌人的正面进攻，一面派出部队，策应军直属部队51师扑杀敌人的突袭部队，并向龙潭河之敌展开夹击。
连续五昼夜的奋战，58师在慈利的阵地虽有所调整，正面阵地依然保持完整不破，但是王耀武注意到，敌人向龙潭河的迂回已经对58师的侧翼形成割裂包围的态势，不能冒险再命张灵甫留在原地硬顶了，否则他将落入与73军暂5师彭士量同样的厄运。便于11月20日给张灵甫下达了转移命令。五昼夜的激战拖住敌第13师团和佐佐木支队的主力，为常德城内的57师备战和战区增援部队的赶到赢得了宝贵时间，现在一旦撤离，意味着常德西面也将门户大开，城内57师的弟兄们将在四面被包围的处境下孤军作战。张灵甫极不甘心地放弃了辛辛苦苦坚守了5天的阵地，他在马峰落、零阳山留下一部固守，遵命将58师主力转移至漆家河西南邓家庙、陈家河、簸箕湾一线。
58师、51师在慈利的阻击任务宣告完成。自11月16日到11月20日，国民党74军58、51师在慈利的阻击，使得日军13师团和佐佐木支队一直龟缩在慈利二坊坪，桃源漆河、九溪一线，始终未能按原定计划到达常德西郊边缘陬市。
就这样，张灵甫指挥58师阻止了日军一次又一次的进攻，与日田名将赤鹿理的13师团相持达5天之久。
直到20日，由于58师伤亡开始增大，且右翼部队已被日军分割包围，情势危急，为了避免重蹈石门战场73军的覆辙，王耀武操着变调的山东话大声喊叫，急令张灵甫向漆家河西南地区撤退。
张灵甫挥泪撤离战场，他觉得这一仗打得真窝囊！
但事后证明，他能逃出战场，逃出横山勇的魔掌心，就已经很不容易了，这正是他的聪明过人之处。