微软和麻省理工学院的研究人员提出新方法,希望减少人工智能产生的幻觉

微软和麻省理工学院的研究人员提出新方法,减少人工智能产生幻觉

在自然语言处理领域,大型语言模型在我们与文本数据的交互中起着重要作用。尽管已经取得了重大进展,但“幻觉”问题仍然存在。幻觉是指模型生成与现实世界事实不一致的信息。

根据来自麻省理工学院和微软的一组研究人员的一篇新论文,一种新方法可能有助于减少AI幻觉的发生。与AI幻觉相关的问题之一是与这些问题相关的危险。

尤其是在面向临床和法律行业的应用中,这一问题尤为令人担忧。这往往是由于独特的监管和合规标准,意味着AI幻觉的风险可能会导致独特的法律和责任问题。

这就是DoLa的作用所在。DoLa的策略是将模型较深层的信息优先考虑,而较浅层或中间层的信息则降低重要性。这种对比解码方法可以增强LLM的事实知识,而无需外部知识检索或进一步微调。

到目前为止,实验结果似乎看起来很有希望。已经证明可以增强像TruthfulQA和FACTOR数据集上的LLM(例如LLaMA)的完整性。此外,在StrategyQA和GSM8K cc中重点研究思维链推理的实验提示了其改善事实推理的潜力。

但更有趣的是,当使用GPT-4进行开放式文本生成时,DoLa生成了更具信息量且明显更具事实性的响应,获得了与传统解码方法相比更高的评分。而且,它只会在解码过程中增加很少的时间,使其成为一种实用且高效的解决方案。

尽管这项研究看起来很有希望,但需要记住的是,在论文中他们指出,团队并没有将测试扩展到其他领域,例如遵循指示或响应人类反馈。此外,他们的方法仅依赖于预先存在的架构和参数,限制了可能改进的范围。

与检索增强型LLM不同,DoLa完全依赖于模型现有的知识,而不通过外部检索模块添加新信息。研究人员表示希望未来的工作将整合这些组件,可能克服这些限制。

如果您感兴趣,可以在这里找到DoLa的GitHub。