这篇人工智能论文提出了一种递归记忆生成方法，以增强大型语言模型中的长期对话一致性
This AI paper proposes a method for generating recursive memories to enhance long-term dialogue consistency in large language models.
聊天机器人和其他形式的开放领域通信系统近年来受到了越来越多的关注和研究。长期讨论设置是具有挑战性的，因为它需要知道并记住之前对话的重要要点。
ChatGPT和GPT-4等大型语言模型（LLMs）在最近的几个自然语言任务中展示了令人鼓舞的结果。因此，利用LLM的能力进行提示，创建了开放领域/任务聊天机器人。然而，在长时间的讨论中，即使是ChatGPT也可能失去上下文的追踪能力，提供不一致的答案。
中国科学院和悉尼大学的研究人员研究了在长期对话中，LLMs是否可以在没有标记数据或其他工具的情况下有效地使用。研究人员使用LLMs构建递归摘要作为记忆，从进行中的对话中保存重要信息，从记忆增强方法中汲取启示。在实际使用中，LLM首先会给出一个简要的背景，并要求对其进行总结。然后，他们让LLM结合先前和后续的陈述来生成新的摘要/记忆。然后，他们告诉LLM根据其存储的最新信息来做出决策。
所提出的方案可以作为一种可行的解决方案，使现有的LLM能够在不昂贵地扩展最大长度设置和对长期对话进行建模的情况下，对极其长的上下文（对话会话）进行建模。
该建议方案的有效性在公共长期数据集上通过使用易于使用的LLM API ChatGPT和text-davinci-003进行实验予以证明。此外，该研究表明，使用单个标记样本可以显著提高所建议策略的性能。
研究人员要求任意大的语言模型来执行记忆管理和答案生成的任务。前者负责迭代地总结与进行中对话的重要细节，而后者结合记忆生成一个可接受的回答。
在这项研究中，团队仅使用自动度量来评判所提出方法的有效性，这对于开放领域聊天机器人可能并非最佳选择。在现实世界的应用中，他们不能忽视调用巨大模型的成本，这在他们的解决方案中没有考虑到。
未来，研究人员计划在其他长上下文工作中测试其长上下文建模方法的有效性，包括故事生成。他们还计划使用本地监督的精细调整的LLM来改进其方法的摘要能力，而不是使用昂贵的在线API。
