这篇来自NVIDIA的AI论文探讨了检索增强与语言模型中的长文本之力：哪个是至高无上的？它们能共存吗？

探究NVIDIA AI论文中长文本的检索增强与语言模型：至高之争还是共存可能？

“`

在一项对比研究中，Nvidia的研究人员调查了检索增强和上下文窗口大小对大型语言模型（LLM）在下游任务中性能的影响。研究结果表明，检索增强始终可以提高LLM的性能，而与上下文窗口大小无关。他们的研究揭示了检索机制在优化LLM在各种应用中的有效性。

研究人员深入研究了长上下文语言模型的领域，研究了检索增强和上下文窗口大小在增强LLM在各种下游任务中的性能方面的有效性。它对不同预训练的LLM进行了比较分析，证明了检索机制显著提高了LLM的能力，无论其扩展上下文窗口大小如何。

由于GPU的进步和记忆高效的注意机制，长上下文LLM越来越重要。他们的方法探索了用检索解决LLM中长上下文的方法，从检索器中高效提取适当的上下文。它比较了在问题回答和摘要等任务中，带有扩展上下文窗口的LLM和检索增强的LLM的效果。

• (Our new ways of helping to reduce transportation and energy emissions)
• 利用人工智能预防无家可归的住房危机 洛杉矶的一场颠覆性变革
• 我们如何在流式应用中高效部署大型语言模型？这篇人工智能论文介绍了适用于无限序列长度的StreamingLLM框架

他们的研究在长上下文任务的背景下，对两个先进的预训练LLM进行了性能比较，即专有的43B GPT和LLaMA2-70B。它调查了检索增强和扩展上下文窗口在问题回答和摘要等任务中的有效性。结果表明，带有32K上下文窗口的检索增强的LLaMA2-70B模型在长上下文任务中表现出色。此外，该论文还讨论了各种近似注意力方法，强调了FlashAttention在处理较长序列时的效用。

他们的研究调查了检索增强和扩展上下文窗口在LLM在各种任务中的有效性。研究结果表明，通过位置插值，带有4K上下文窗口的检索增强与16K上下文窗口的微调LLM版本达到相似的性能水平，从而减少了计算需求。检索显著提高了不同上下文窗口大小下LLM的性能。性能最佳的模型，即带有32K上下文窗口的检索增强LLaMA2-70B-32k，在包括问题回答和摘要在内的七个长上下文任务中表现出众，并保持更快的生成时间。他们的研究帮助从业者在选择LLM的检索增强和上下文扩展之间做出抉择。

他们的研究强调了检索增强和长上下文扩展对提高LLM在下游任务中的性能的益处。通过位置插值，具有4K上下文窗口的检索增强与16K上下文窗口LLM的版本相匹配，从而降低了计算需求。具有32K上下文窗口的检索增强LLaMA2-70B模型在各种长上下文任务中表现出色，为LLM的发展提供了一个有希望的途径-这些见解有助于从业者在检索增强和LLM的扩展上下文之间进行选择。

未来的研究方向包括探索检索增强和长上下文扩展在LLM中的应用，涵盖不同任务和数据集，以提高其泛化能力，并在各种自然语言处理领域中评估其在问题回答和摘要任务之外的有效性，开发处理计算挑战的长上下文模型的高效关注机制，并研究这些技术在不同环境中的相互作用，以及增强微调策略以优化任务。

“`