ETH Zurich 的研究人员推出了GoT(思维图):一种机器学习框架,能够提升大型语言模型(LLMs)的提示能力
ETH Zurich 研究人员推出了GoT(思维图):一种机器学习框架,提升大型语言模型(LLMs)的提示能力
人工智能(AI)在使用大型语言模型(LLMs)方面有所增加。最近,基于Transformer架构的仅解码器设计的一种特殊类型的LLM已经获得了很大的流行度。包括GPT、PaLM和LLaMA在内的模型在最近的时间内获得了巨大的流行度。提示工程是一种策略性技术,是一种成功且资源高效的方法,用于在输入文本中嵌入LLM的任务特定指令,以解决各种问题。如果这些指令被正确编写,LLM可以使用其自回归基于令牌的方法创建相关文本并完成任务。
Chain-of-Thought(CoT)方法是在提示工程基础上的扩展。在CoT中,输入提示除了任务的描述外,还提供思考或中间步骤。通过这种补充,LLM的问题解决能力得到了显著提高,而无需进行模型更新。通过将LLM与Chain-of-Thought和Tree of Thoughts(ToT)等当前范例进行比较,最近引入了一种名为Graph of Thoughts(GoT)的框架。
GoT将数据表示为任意图形,使LLM能够以更灵活的方式生成和处理数据。在该图中,将单个信息片段或LLM思想表示为顶点,将它们之间的连接和依赖关系表示为边。这允许将不同的LLM思想结合起来产生更强大和有效的结果。通过在图中将这些思想相互耦合和相互依赖,实现了这一目标。与限制思考的线性范例相比,GoT可以记录复杂的思考网络。这为将各种思想组合成一个连贯的答案打开了大门,并通过反馈循环改进思想。
GoT相对于现有方法在多个任务上的更高性能是其有效性的一个例证。通过将排序质量提高62%,GoT在排序测试中优于ToT。同时,它还将计算开销减少了31%以上。这些结果表明了GoT在任务准确性和资源效率之间取得的平衡能力。GoT的可扩展性是其最显著的优点之一。鉴于其易于适应新鲜的思想转换,该框架足够灵活,可以引导创造性的提示方案。这种灵活性对于应对LLM研究和应用领域的变化至关重要。
通过建立GoT框架,这项工作显著推进了LLM推理与人类思维过程和脑神经系统的对齐。在人类思维过程和大脑思维过程中,思想相互交流、分支和相互影响形成复杂的网络。因此,通过弥合传统线性技术与这种复杂的、类似于网络的思维过程之间的差距,GoT改进了LLM的技能和处理具有挑战性问题的能力。