遇见RAVEN：一种检索增强的编码器-解码器语言模型，解决ATLAS的局限性
RAVEN A retrieval-enhanced encoder-decoder language model addressing ATLAS limitations.
大型语言模型（LLMs）在自然语言处理（NLP）领域的最新发展中发挥了重要作用。这些模型在各种任务上展示了惊人的能力，并显著提升了人工智能的流行度。它们在上下文中的学习能力是它们伟大的关键组成部分，通过利用提供的上下文信息，上下文学习使这些LLMs能够适应新的活动和领域，而无需特定任务的微调。借助此功能，LLMs还能在涉及零样本或少样本学习的情况下表现出色，只需要提供少量示例。
最近的研究探讨了上下文学习在检索增强的编码器-解码器语言模型中的潜力。研究了尖端的ATLAS模型的能力，并指出了其主要限制，包括模型的预训练和测试阶段不同步以及可以处理的上下文信息量有限。
为了解决这个问题，美国伊利诺伊大学厄巴纳-香槟分校和美国NVIDIA公司的研究人员引入了一种名为RAVEN的独特范式，这是一种检索增强的编码器-解码器语言模型。该模型解决了ATLAS提出的困难，并为了提高其上下文学习能力，RAVEN采用了一种双重策略。第一部分结合了前缀语言建模和检索增强的掩码语言建模方法。这些技术通过减小预训练和测试数据之间的差异，旨在改善模型对上下文相关内容的理解和生成能力。
其次，RAVEN引入了一种被称为上下文融合学习的改进方法。该方法的目标是提高模型在少样本场景下的性能，以增加模型可以使用的上下文示例数量，而无需进行进一步的模型修改或训练重复。这是重要的，因为它使模型能够更有效地使用上下文信息。
研究的实验阶段包含了大量的测试和评估，以评估RAVEN与ATLAS模型的性能。结果表明，RAVEN在理解上下文和生成精确响应方面远远超过ATLAS。在使用更少的参数的情况下，RAVEN有时会产生与最复杂的语言模型相媲美的结果。
团队总结了他们的贡献如下。
- 彻底研究了ATLAS，重点关注其上下文学习能力。
- 引入了一种新颖的模型RAVEN，它将检索增强的掩码和前缀语言建模技术相结合，旨在解决ATLAS中发现的限制。
- 提出了上下文融合学习和上下文示例检索，以增强像RAVEN这样的检索增强的编码器-解码器模型的少样本性能。这些方法允许更好地利用上下文信息，而无需进行重大修改或额外的训练。
- 通过广泛的实验，研究验证了RAVEN的有效性和所提出的技术，结果表明RAVEN在各种场景下表现出优越的性能，超过了ATLAS和其他基准模型。
总之，这项工作强调了像RAVEN这样的检索增强的编码器-解码器语言模型具有改进上下文学习能力的潜力。
