到十二月里，敌军见一孤城久攻不下也心生急躁，加强了攻击，潭州岌岌可危。人们显得恐惧动摇。有的官员向李芾商量：“形势如此，大家心里明白，直面现实，有话要坦言。我们多次求援，不获朝廷回应，我们也对得起朝廷了。敌军攻势凶悍，城破是迟早之事。我们拼死守土，为国捐躯理所当然，但城里生灵涂炭，又有何益？”
李芾不为所动：“国家养兵千日用在一时。你们熟读圣贤书，深明大义。平时国家供奉你们，让你们养尊处优，一有危急你们就贪生怕死，辜负国恩，有何面目立于人世？要逃命的尽可自己走，我决不拦阻。我与城共存亡，视死如归。”此后没有人言及保全，上下齐心守城。
除夕那天一直到申时，李芾还不能放官员回家去与家人团聚。这些都是幕僚，武将都上城或巡城去了。这时候小兵来报，说敌军宣告今天是除夕，大家休息，不进攻，已经撤退回了营帐。官员听了不自觉地松了一口气。李芾却大惊，瘫倒在座椅里，口中喃喃地说，“城破在即。”他问城头现在情况如何，小兵说守城将士还在城上，没有接到命令不会下来，可是百姓已经回家了。李芾问敌营的情况，小兵说敌兵卸甲在地，烤肉饮酒，营中鼓乐声动，胡女歌舞。
李芾说这是敌军阴谋，万万不能松懈。敌军见我众志成城，不可撼动，就想法让我们松懈，乘我不备突然进攻。他要小兵赶快去传令要将士立即振作。