这篇AI论文介绍了COVE方法：一种通过自我验证来解决语言模型幻觉的新型AI方法
解决语言模型幻觉的创新AI方法——COVE方法在这篇论文中亮相
使用包含数十亿个文本令牌的大型文本文档语料库来训练大型语言模型(LLM)。已经证明，随着模型参数数量的增加，性能在像关闭书的问答任务中的准确性有所提高，更大的模型可以产生更准确的事实陈述。即使在训练语料库中相对较少出现的最大模型，也可能在较少知名的躯干和尾部分布事实上失败。当模型存在缺陷时，它们会产生一种通常看起来真实的替代答案。
除了仅预测即将到来的词语外，最新一波的语言建模研究集中在它们如何进行推理。鼓励语言模型在回答之前首先构建内部思考或推理链，并通过自我批评改变其原始回答，可以提高其在推理挑战方面的性能。
来自Meta AI和苏黎世联邦理工学院的研究人员调查了基于语言模型的推理如何以及何时可以应用于减轻幻觉。他们设计了一种名为验证链条 (CoVe) 的方法，给定初步草稿回答，首先计划验证性问题以评估其有效性，然后系统地回答这些问题，最终生成更好的修改回答。研究表明，独立验证问题提供的事实通常比初始长篇回答中的事实更准确，从而提高整个回答的准确性。
该团队对这个公式进行了各种活动的变体探索，包括基于列表的查询、闭卷问答和长篇内容的创作。作为基线语言模型的替代方案，他们首先提供了一种从左到右创建完整验证链的组合方法，以提高性能和减少幻觉。另一方面，那些关注当前幻觉并在其生成过程中引用这些幻觉的模型经常会重复幻觉。
研究人员通过针对情况优化验证链环节引入了因子变体。结果显示，这些因子变体进一步提高了所考虑的三个任务的性能。
该团队还表明，在回答验证问题时阻止模型关注其先前的回答（因素化CoVe）会减少重复相同幻觉的可能性。总体而言，通过要求同一模型思考（检查）其回答，CoVe方法相对于原始语言模型的回答提供了显著的性能改进。将CoVe赋予应用工具的能力，例如在验证执行步骤中进行检索增强，是本研究的一个逻辑扩展，无疑会带来更多优势。
