腾讯AI实验室引入了Chain-of-Noting（CoN）技术来提升检索增强型语言模型的稳定性和可靠性
腾讯AI实验室引入Chain-of-Noting（CoN）技术，稳定可靠提升检索增强型语言模型
<img alt="" src="https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-20-at-11.48.37-AM-1024×460.png"/><img alt="" src="https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-20-at-11.48.37-AM-150×150.png"/><p>腾讯AI实验室的研究人员针对检索增强语言模型（RALM）在可靠性方面存在的挑战，这可能导致检索到不相关的信息，从而产生误导性的回应。提出的CHAIN-OF-NOTING（CON）方法旨在增强RALM。装备CON的RALM在开放域QA基准测试中表现出显著的性能提升，取得了准确匹配（EM）得分和超出范围问题的抗拒率方面的显著增益。</p><p>研究解决了RALM的局限性，强调了噪声鲁棒性和对检索文档的依赖度降低。CON方法为检索到的文档生成连续的阅读笔记，实现全面的相关性评估。案例研究突出了CON提高模型对文档相关性理解的能力，通过过滤掉不相关或不可靠内容，实现更准确、上下文相关的回应。</p><p>CON在超越标准RALM方面表现出色，为超出范围问题的准确匹配得分和抗拒率获得更高成绩。它平衡了直接检索、推理推理和承认知识空白的能力，类似于人类信息处理。CON的实施涉及设计阅读笔记、数据收集和模型训练，为当前RALM的局限性提供了解决方案，并提高了可靠性。</p><p>CON框架为检索到的文档生成连续的阅读笔记，提升了RALM的性能。在LLaMa-2 7B模型与ChatGPT创建的训练数据上训练，CON在高噪声场景中表现优异，优于标准RALM。它将阅读笔记分类为直接答案、有用的上下文和未知场景，展示了一个用于评估文档相关性的强大机制。与基准方法LLaMa-2 wo IR的比较展示了CON过滤不相关内容的能力，提高了回应的准确性和上下文相关性。</p><p>装备CON的RALM表现出显著的改进，完全噪声文档的EM分数平均提高了7.9个百分点。CON在超越预训练知识的实时问题的抗拒率上实现了显著的+10.5改进。评估指标包括EM分数、F1分数和开放域QA的拒绝率。案例研究突出了CON在深化RALM理解、解决噪声、不相关文档挑战以及提高整体鲁棒性方面的有效性。</p><p>CON框架显著增强了RALM。通过为检索到的文档生成连续的阅读笔记并将此信息整合到最终答案中，装备CON的RALM优于标准RALM，表现出显著的平均改进。CON解决了标准RALM的局限性，进一步加深了对相关信息的理解，并在各种开放域QA基准测试上提高了整体性能。</p><p>未来的研究可以将CON框架的应用扩展到不同的领域和任务，评估其通用性和加强RALM的有效性。研究不同的检索策略和文档排名方法可以优化检索过程，提高检索到的文档的相关性。用户研究应该评估在实际场景中使用具有CON的RALM的可用性和满意度，考虑回应质量和可信度。探索额外的外部知识源，并将CON与预训练或微调等技术相结合，可以进一步提高RALM的性能和适应性。</p><p></p>
