语言模型与伙伴们:大猩猩、拥抱GPT、任务矩阵等等

Language models and companions Gorillas, embracing GPT, task matrix, etc.

当我们让LLMs访问数千个深度学习模型时会发生什么?

(Mike Arney在Unsplash上的照片)

最近,我们目睹了基础模型在深度学习研究中的普及。预训练的大型语言模型(LLMs)引领了一种新的范式,即一个单一模型可以在解决许多不同问题时取得惊人的成功。尽管通用LLMs很受欢迎,但以任务特定方式微调模型往往优于利用基础模型的方法。简而言之,专门的模型仍然很难被超越!在这种情况下,我们可能开始思考基础模型和专门的深度学习模型的能力是否可以结合起来。在这个概述中,我们将研究最近的研究,通过学习调用它们的关联API,将LLMs与其他专门的深度学习模型集成起来。由此产生的框架将语言模型作为一个集中的控制器,制定解决复杂的人工智能相关任务的计划,并将解决方案的专门部分委托给更适合的模型。

“通过仅提供模型描述,HuggingGPT可以持续而方便地集成来自AI社区的各种专家模型,而不改变任何结构或提示设置。这种开放和持续的方式使我们离实现人工通用智能更近了一步。” — 引自[2]

(来自[2, 3])

背景

在探索如何将语言模型与其他深度学习模型集成之前,我们需要了解一些背景知识,例如LLM工具、信息检索和自我教导[11]。有关语言模型的更通用背景信息,请查看以下资源。

  • 语言建模基础(GPT和GPT-2)[链接]
  • 对于语言模型的规模的重要性(GPT-3)[链接]
  • 现代[链接]和专门的[链接]LLMs
  • 基本[链接]和高级[链接]提示工程

使用工具与…