微软和哥伦比亚大学的研究人员提出了LLM-AUGMENTER:一种人工智能系统,它通过一组即插即用的模块增强黑盒LLM
微软和哥伦比亚大学的研究人员提出了LLM-AUGMENTER
大型语言模型(LLMs)如GPT-3因其丰富的世界知识而被广泛认可,能够生成连贯和信息丰富的自然语言文本。然而,将这些知识编码到LLMs中是有损的,并且可能导致记忆扭曲,从而产生对任务至关重要的幻觉。此外,LLMs无法编码某些应用程序所需的所有必要信息,使其不适用于新闻问答等对时间敏感的任务。尽管已经提出了各种方法来使用外部知识增强LLMs,但这些方法通常需要微调LLM参数,这可能代价高昂。因此,需要可以添加到固定LLM中以提高其在任务关键任务中的性能的即插即用模块。
本文提出了一个名为LLM-AUGMENTER的系统,旨在解决将大型语言模型(LLMs)应用于任务关键应用程序的挑战。该系统旨在通过使用存储在任务特定数据库中的外部知识,通过即插即用模块来扩充黑盒LLM的响应。它还包括使用效用函数生成的反馈来改进LLM生成的响应的事实性分数的迭代提示修订。该系统在面向任务的对话和开放域问题回答场景中经过实证验证,显著减少了幻觉,同时不牺牲反应的流畅性和信息性。该系统的源代码和模型公开可用。
LLM-Augmenter过程包括三个主要步骤。首先,当给定用户查询时,它从外部知识源(如网络搜索或任务特定数据库)中检索证据。它还可以将检索到的原始证据与相关上下文连接并进行推理,以创建“证据链”。其次,LLM-Augmenter使用整合的证据提示固定的LLM(如ChatGPT)生成根植于证据的响应。最后,LLM-Augmenter检查生成的响应并创建相应的反馈消息。此反馈消息修改并迭代ChatGPT查询,直到候选人的响应符合验证要求。
- 斯坦福大学和DeepMind的研究人员提出了使用大型语言模型(LLMs)作为代理奖励函数的想法
- 一项新的研究提出了基于软自供电摩擦电纳米发电机和深度学习辅助数据分析的水下三维触觉张力结构(U3DTT)技术
- 开发者如何安全地使用生成式人工智能
本研究中所提出的工作表明,LLM-Augmenter方法能够有效地利用与用户交互相关的外部知识来增强黑盒LLMs。这种增强大大减少了LLMs生成的响应中存在的幻觉问题,同时不影响流畅性和信息质量。
使用自动指标和人工评估对LLM-AUGMENTER的性能进行了评估,评估了信息查询对话任务。常用的指标,如知识F1(KF1)和BLEU-4,用于评估模型输出与人类真实响应之间的重叠以及与人类在数据集收集期间用作参考的知识的重叠。此外,研究人员还包括了与DSTC9和DSTC11客户支持任务上的人类判断最相关的这些指标。还考虑了其他指标,如BLEURT,BERTScore,chrF和BARTScore,因为它们是对对话中表现最佳的文本生成指标之一。