Eleuther AI研究团队展示了如何将无分类器引导(CFG)与LLMs一起使用
最近,巨型语言模型展示了令人印象深刻的生成能力,使它们能够处理各种各样的问题。通常,”提示”被用来在生成过程中进行条件设置,可以是任务指示和上下文,也可以是少量的样本。然而,语言生成中存在问题,尤其是在较小的模型中,包括幻觉、恶化和偏离问题。已经提出了一些解决方案,包括指令微调和强化学习,来应对这个问题。由于高计算和数据要求,不是所有用户都能从这些方法中受益。
EleutherAI的一个研究小组提出了一种推理方法,更加重视用户在提示中声明的意图。他们最近的研究提出了在推理时更加重视提示来改善生成的一致性。
研究表明,在文本到图像生成中存在相同的问题。当处理不寻常或专门的刺激时,标准的推理方法可能会忽视条件的重要细节。建议使用一个单独的分类器来鼓励输出图像中的期望特性,以改善扩散模型的生成质量。后来,开发了无分类器引导(CFG),它完全摒弃了分类器,而是将生成模型作为隐式分类器。
研究人员借鉴了CFG在文本到图像生成中的成功,修改了CFG以用于单模态文本生成,以改进模型对输入的拟合。他们证明,在文本生成中,CFG可以直接使用,而文本到图像模型(主要使用扩散模型)需要通过训练使用条件丢弃来利用CFG。该研究展示了如何使用CFG来增强各种提示方法之间的对齐,从简单的一次性提示到复杂的聊天机器人式提示,无所不包。
他们开发了一种将CFG应用于语言建模的方法,并在一系列行业标准基准测试中展示了显著的进展。这些基准测试包括基本提示、链接提示、长文本提示和聊天机器人式提示。具体而言,LLaMA-7B优于PaLM-540B,并使该方法成为LAMBADA的SOTA。
越来越多的推理方法试图改变LM的逻辑分布,这项工作与它们紧密相连。研究结果表明,CFG的推理FLOP加倍,使模型的性能大约提高了一倍。这为在不那么强大的硬件上训练更简单、成本更低的模型铺平了道路。
使用负向提示,可以更精确地控制CFG的突出特征。结果显示,75%的人更喜欢GPT。所有的CFG方法都优于标准的样本方法。