“压缩检索文档能提升语言模型性能吗？这篇人工智能论文介绍了RECOMP：利用压缩和选择性增强改善检索增强的语言模型”

压缩检索文档对语言模型性能有何提升作用？这篇人工智能论文介绍了RECOMP：利用压缩和选择性增强改善检索增强的语言模型

“`html

优化性能并同时管理计算资源是在日益强大的语言模型时代中的一个关键挑战。德克萨斯大学奥斯汀分校和华盛顿大学的研究人员探索了一种创新策略，将检索到的文档压缩成简明的文本摘要。通过使用提取和抽象压缩器，他们的方法成功提高了语言模型的效率。

检索增强语言模型（RALMs）的效率提升是重点，着重改进检索组件，通过数据存储压缩和维度降低等技术。减少检索频率的策略包括选择性检索和利用更大的跨度。他们的论文“RECOMP”提出了一种通过将检索到的文档压缩成简明文本摘要的新方法。他们的方法不仅减少了计算成本，还提高了语言模型的性能。

为了解决RALMs的局限性，他们的研究引入了RECOMP（检索、压缩、前置）的新方法来提高其效率。RECOMP在上下文增强之前将检索到的文档压缩为文本摘要。他们的过程利用提取压缩器从文档中选择相关句子，并利用抽象压缩器将信息合成为简明摘要。

• 苹果 M1 和 M2 用于训练 SSL 模型的性能
• 变形金刚如何处理较长的输入？卡内基梅隆大学和谷歌研究员揭示了一种新的方法（FIRE）：相对位置编码的功能插值
• ReactJS用于AI和机器学习：强大的结合

他们的方法引入了两个专门的压缩器，一个提取压缩器和一个抽象压缩器，旨在通过从检索到的文档中创建简明摘要来提高语言模型的性能。提取压缩器选择相关句子，而抽象压缩器合成来自多个文档的数据。当它们生成的摘要被添加到语言模型的输入中时，两个压缩器都经过训练以优化语言模型性能。评估包括语言建模和开放域问答任务，并通过各种语言模型展示可迁移性。

他们的方法在语言建模和开放域问答任务上进行了评估，以惊人的6%压缩率并且几乎没有性能损失，超过了标准摘要模型。提取压缩器在语言模型方面表现出色，而抽象压缩器在最低困惑度方面表现最佳。在开放域问答中，所有检索增强方法都提高了性能。提取式Oracle引领和DPR在提取基线中表现良好。训练过的压缩器在语言建模任务中在不同语言模型之间进行迁移。

RECOMP将检索到的文档压缩为文本摘要，从而提高语言模型的性能。使用了提取和抽象两种压缩器。压缩器在语言建模和开放域问答任务上都很有效。总之，将检索到的文档压缩为文本摘要可以提高语言模型的性能，同时减少计算成本。

未来的研究方向包括使用提取式摘要器进行自适应增强，改善压缩器在不同语言模型和任务上的性能，探索不同的压缩率，考虑基于神经网络的压缩模型，对更广泛的功能和数据集进行实验，评估对其他领域和语言的普适性，并整合其他检索方法，如文档嵌入或查询扩展，以增强检索增强语言模型。

“`