16日傍晚时分，敌第3师团与增援部队纷至。发现58师官兵流露出畏难情绪，张灵甫亲自来到第一线给基层官兵鼓劲。当晚，58师在他的沉着指挥下与来敌激战，稳守祖师殿、落马坡、羊角山一线。

    张灵甫分析了58师的兵力部署，找出了自己的薄弱点，他估计到敌人会侧后迂回突袭，便派出163团的一个营半夜赶往羊角山的铜台山涧小道上设伏。18日拂晓，伊藤果然派出了一支小部队，换穿便衣，借黑夜的掩护摸进了伏击圈，在163团伏击部队居高临下的密集扫射之下，日军狼狈溃退。

    在日军发动夜袭的同时，日军又派出第3师团一部，向58师的右翼亮垭（在现老棚村境内）猛扑。张灵甫接到报告，意识到这是敌人正在对他进行两翼包围，他马上联络51师的周志道，两师各抽出有力一部，51师出星德山，58师出祖师殿，对亮垭的日军实行反包围，左右夹击，歼敌过半。

    日军偷袭不成，包围不果，只得将主力再转到58师的正面，18日、19日两天，58师的祖师殿、羊角山阵地和51师的白鹤山、星德山阵地整日处于敌步、炮、空协同的全战猛攻中，其中祖师殿方向的战况尤其激烈，敌人不断增兵并发射毒气弹，力图一举突破。18日晚8时许，敌13师团的司令部进入慈利县城，58师在落马坡、羊角山的阵地出现动摇，所幸失而复得。

    陆续到达慈利境内的日军已增加到5个联队之多，继石门失陷之后，附近友军溃散，慈利地区主阵地只有58师孤军奋战，敌人的兵力越聚越多，要想守住慈利防线，仅靠一个师任务殊难完成。面对沉重的压力，张灵甫还顾不上叫苦，第74军的参谋长孟广珍却已沉不住气，他在19日对军令部发出了抱怨：“73军毫无战斗力，44军战力甚微，100军尚未全部到齐，职军分割接援，现又三面受敌，出击、守备独立支持，恐难副钧座之殷期”。

    军令部也明白74军的处境，为了加强王耀武的兵力，在73军失守石门的次日就已将第100军临时调拨给王耀武指挥，与74军组成王耀武兵团，王耀武还被任命为第29集团军副总司令。

    王耀武既不得将100军分散使用，手里也需要控制部队应付漆家河、桃源一线的战事，他也实在是无兵可分，只得寄希望于张灵甫在慈利的前方阵地独立苦撑。为了避免敌人对58师的突出阵地实施分割包围，他命令张灵甫放弃突出部，将阵地向西收缩，与51师在仙娘庙、七姑山、马峰落阵地相接，占领自马峰落到零阳山、岩泊渡的新阵地。

    拥有优势的兵力，有空军和炮兵的全力支援，连续猛攻将近四天，日寇第13师团居然仍在慈利一线徘徊不前，师团长赤鹿理愤怒了，他要亲自到前线，看看对方将领究竟是何方神仙。20日晚，赤鹿理在参谋长依知川陪同下来到伊藤联队的本部，伊藤向他诉说：各部多日不眠不休，已经夜袭数次，但敌人实在太顽强了，他们利用天险阻止前进。赤鹿理严令部队：“今晚一定要迅速突破当面之敌，进入指定位置”。但是直到晚上19时仍未取得任何进展。

    伊藤大佐在20日的日记中大叹苦经：“各部队不眠不休，几经夜袭，第一线部队终于在五时左右进入燕子桥一线。从9日开始攻佘儿垭北侧鞍部雷雨垭之敌，敌人十分顽强。晚间，师团长偕同参谋长来到本部，要求迅速突破，乃命令部队夜间强行突破。18时再次攻击，敌防备坚固，我仅仅占领敌阵一角。联队本部继第三大队之后突进。预备队为掩护山炮及马匹，留在后方，准备于明日天亮后追及大部队”。

    可是，张灵甫不等天亮就抢先出手了。日军未占到丝毫便宜。