我们知道LLMs可以使用工具,但你知道它们也可以制造新的工具吗?来认识一下LLMs作为工具制造者(LATM):一个闭环系统,允许LLMs制造自己的可重复使用工具

LLMs not only can use tools, but they can also create new ones. Introducing LLMs as tool manufacturers (LATM) a closed-loop system that allows LLMs to create their own reusable tools.

大型语言模型(LLMs)在广泛的自然语言处理任务中表现出色,并显示出实现某些人工智能普适特征的鼓舞人心证据。最近的研究还揭示了用外部工具补充LLMs的可能性,极大地增加了它们的问题解决能力和效率,类似于人类智能的发展。然而,适当工具的可用性是这些使用工具的程序的适用性的主要决定因素。根据这些里程碑的教训,人们创造自己的工具来解决新问题的能力是人类发展的一个重要转折点。

在这项研究中,来自Google Deepmind、普林斯顿大学和斯坦福大学的研究人员将这种进化概念应用于LLMs领域,这是受到人类工具制造的重要性的启发。他们提出的系统被称为LLMs作为工具制造者(LATM),使LLMs能够创建可重复使用的工具来承担新的责任。他们的策略包括两个关键阶段:1)创建工具:一个常被称为工具构建者的LLM创建工具(实现为Python函数),特别是为了特定的工作。2)工具应用:一个被称为工具用户的第二个LLM,可能是创建工具的同一个人,应用这些工具来处理新的请求。由于这个两阶段设计,LATM可以在每个步骤中将工作分配给最合格的LLM。

特别地,一个强大但资源密集型的模型(如GPT-4)可以对创建工具的过程进行建模。另一方面,一个轻量级且经济实惠的模型(如GPT-3.5 Turbo)可以归因于使用工具的过程,这要简单得多。这种方法大大降低了处理多个任务的平均计算成本,同时提高了LLMs的问题解决能力。对于特定的能力,工具制造过程只需进行一次。因此,产生的工具可以应用于多个任务实例。

这种方法为解决具有挑战性的问题提供了一种可扩展且经济实惠的选择。想象一个场景,用户要求LLM安排一个对每个人都方便的会议(例如通过电子邮件交流)。复杂的算术推理问题对于像GPT-3.5 Turbo这样的轻量级机器来说经常很难完成。然而,像GPT-4这样的更强大的模型仍然可以得到正确的答案,但推理成本显著更高。通过使用一个强大但昂贵的模型作为工具制造者,并将其交给一个经济实惠的模型作为工具用户,LATM克服了这些障碍。在工具被锻造之后,用户可以利用工具快速有效地完成工作。

https://arxiv.org/abs/2305.17126

这种范式还可以用于解决众所周知的游戏,如24点数独,以及其他过程中的重复性工作,如将在线文章解析和分析为特定的数据格式,或创建满足各种专业要求的路径规划。他们还添加了一个调度器,一个更轻量级的LLM,它决定一个传入的问题是否可以使用已有的工具解决,或者是否需要开发新的工具。这为他们的架构增加了额外的动态度,并允许实时地创建和使用工具。他们的试验展示了这种策略在各种复杂的Big-Bench问题和复杂的思维任务上的有效性。

结果表明,LATM在性能上可以与资源密集型模型相媲美,同时价格更为合理。这种对LLMs的独特方法为一个发展中的社会利用LLM生成的工具提供了令人兴奋的可能性,这种方法模仿了人类在生成和利用工具方面的进化飞跃。