谷歌LLMs可以通过阅读文档来掌握工具

谷歌LLMs通过阅读文档掌握工具

在快速技术进步的时代，人工智能（AI）正在取得令人瞩目的进展，有时几乎看起来与人类相似。谷歌的研究人员揭示了一个具有突破性意义的成就-大型语言模型（LLMs）现在可以仅通过工具文档的帮助来利用机器学习（ML）模型和API。这一发现引发了关于人工智能和人类能力融合的讨论。

还阅读：人工智能与人类智能：7个主要差异

奥黛丽效应：教AI骑自行车

想象一下教一个名叫奥黛丽的四岁孩子骑自行车。你从安装训练轮开始，引导她通过各种情况，最终，奥黛丽自信地骑车。同样地，谷歌的研究人员通过文档将LLMs介绍给工具的功能，使它们能够在没有先前训练的情况下操作这些工具。就像奥黛丽通过在书中阅读自行车知识来学会骑自行车一样-令人印象深刻和独立。

还阅读：Meta开源的同时训练文字、图像和音频的AI模型

• 迪士尼成立新的工作组，探索人工智能的好处
• 这项AI研究介绍了LISA：大型语言指导分割助手，它继承了多模式大型语言模型（LLM）的语言生成能力
• SalesForce发布Einstein Studio和自主模型（BYOM）功能

从演示到文档：以新的方式教AI

从历史上看，AI模型通过演示（demos）学习工具，需要大量示例。谷歌的突破改变了这种方法。他们使用工具文档（docs）教授LLMs，描述工具的功能，而不是演示每个用例。这种新方法旨在扩大AI对工具的理解，并使其更有效地探索工具的功能。

AI的毕业：多项任务

为了评估这种新方法的能力，谷歌的研究人员让LLMs参与了各种任务，包括多模态问答、表格数学推理、多模态推理、未见过的API使用、图像编辑和视频跟踪。这个模型被称为ChatGPT，经过了各种考验，结果令人惊讶。

还阅读：AI现在可以看和听：欢迎来到多模态AI的世界

性能揭示：工具+文档 vs. 演示

谷歌的实验揭示了文档对LLMs性能的影响。当配备工具文档时，模型的性能即使演示数量减少也保持稳定。然而，没有工具文档时，模型的性能会受到演示数量变化的影响。这展示了文档在为AI模型提供多功能工具利用能力方面的关键作用。

还阅读：揭开GPTBot：OpenAI在网络上爬行的大胆举措

AI的卓越成就：工具文档的力量

值得注意的是，工具文档对于训练和发展人工智能来说是一个改变游戏规则的因素。研究人员证明，仅依靠工具文档，LLMs可以熟练地使用最新的视觉模型进行图像编辑和视频跟踪等任务。这一成就简化了工具的使用，并暗示了AI在自主知识发现方面的潜力。然而，当文档长度超过600个词时，模型的性能会下降，突显了模型的局限性。

展望未来：影响和发现

除了工具使用，谷歌的研究结果还暗示通过工具文档实现自动知识发现的飞跃。这项研究弥合了人工智能的认知能力与工具利用之间的差距。通过无需额外演示就能复制流行项目，人工智能的未来似乎是无限的，可能揭示其推理能力的新维度。

我们的观点

谷歌的研究展示了人工智能令人瞩目的进化，推动了似乎不可能的界限。当人工智能通过工具文档掌握ML模型和API时，不仅为提高效率铺平了道路，还揭示了AI系统内自我发现的潜力。人工智能和工具文档的交叉点标志着人类能力与技术实力相遇的重要一步。