这项人工智能研究证实，当使用外部存储器增强时，基于Transformer的大型语言模型具有计算普适性

基于变压器的模型如GPT-2和GPT-3取得的显著成果引起了研究界对大型语言模型（LLMs）的关注。此外，ChatGPT的最近成功和受欢迎程度也进一步增加了人们对LLMs的兴趣。在上下文学习和思维链提示方面的两个重要发现极大地提高了模型的准确性。这些发现超越了简单的问答，其中使用包含问题的输入提示来输出合理答案。

尽管这些提示策略在提高性能方面非常有效，但当前基于变压器的LLMs只能以固定的输入字符串长度为条件，这限制了它们能够表示的计算。这也可以理解为依赖有限长度字符串的任何确定性语言模型在计算上是有限的，因为该模型等效于有限自动机。为了解决这个问题，研究人员一直在探索向LLMs添加外部反馈循环的可能性，其中模型输出经过一些后处理后再作为输入供给模型。然而，这种方法是否实质性地扩大了模型的计算范围的问题尚未解决。

Google Brain和阿尔伯塔大学的研究人员共同致力于解决这个问题。他们向LLM中添加了一个外部读写存储器，以验证它能够在任何输入上模拟任何算法。他们的研究总结在论文《记忆增强的大型语言模型具有计算通用性》中，该论文展示了如何通过与关联式读写存储器增强的LLM实现计算通用性。

• 斯坦福大学的研究人员介绍了Parsel：一种人工智能AI框架，可以通过代码实现和验证复杂算法，并支持大型语言模型LLMs的自动化实施
• Binghamton大学的研究人员为大家引入了一种增强隐私的匿名化系统（我的脸，我的选择），以便每个人都能在社交照片分享网络中对自己的脸部拥有控制权
• 开发科学软件

研究人员选择了Flan-U-PaLM 540B作为LLM。研究背后的基本思想是使用一个简单的存储指令计算机将LLM和关联存储器链接起来。这使得要转发到语言模型的输出和输入提示能够在一个循环中进行交互。外部关联存储器可以被视为一个字典，其中的键值对是变量名/地址位置和值。语言模型和存储器使用正则表达式匹配执行每个解析步骤。

然后，开发出一个独特的“提示程序”，用于在建立存储指令计算机后指导系统模拟通用图灵机的执行。最后，证明模拟的可靠性归结为检查有限数量的提示-结果模式，并确认语言模型为每个有限的可能输入字符串集生成适当的输出。这项研究的一个主要优点是，它不涉及对语言模型进行任何额外的“训练”或改变其预训练权重。相反，该构建完全依赖于创建一种可以用特定提示进行编程的存储指令计算机。

与早期探索模型计算普适性的研究相比，这项研究具有独特性。主要区别在于研究人员展示了如何使用固定的语言模型和固定的预训练权重通过外部存储增强实现通用计算行为。研究结果表明，只要大型语言模型具有无限的外部存储器访问权限，它们已经具备了计算普适性。