麻省理工学院和哈佛大学的研究人员提出了一个假设，可以解释如何使用大脑中的生物元素构建一个变压器

MIT and Harvard researchers hypothesize on using biological elements in the brain to construct a transformer.

人工神经网络是机器学习中常见的模型，可以用于各种任务的训练，其结构类似于人脑中的神经元信息处理方法，受人脑启发。

变形金刚是一种独特的人工智能架构，对机器学习领域产生了深远的影响，并稳步渗透到计算神经科学的领域。这些革命性的模型展示了非凡的性能水平，如从提示生成文本时以惊人的人类精确度。值得注意的是，ChatGPT和Bard等知名AI框架是建立在变形金刚的基础之上的。

最近，麻省理工学院（MIT）、MIT-IBM沃森人工智能实验室和哈佛医学院的研究人员进行了一项合作努力，提出了一种使用大脑中的生物组分构建变形金刚的假设。他们的主张围绕着一个概念：一个生物网络，由神经元和其他被称为星形胶质细胞的重要脑细胞组成，可能能够执行与变形金刚架构相似的基本计算。

科学家小组对大脑中星形胶质细胞所执行的认知功能进行了彻底的计算研究。他们的努力还导致了一个准确描述星形胶质细胞与神经元之间协同作用的复杂数学框架的发展。该框架用于设计一个紧密模拟大脑复杂生物过程的变形金刚模型的蓝图。

研究人员通过建立模型之间的对应关系，使用共享权重，并呈现整体情境，为研究奠定了基础。他们还开发了一种在生物背景下实现变形金刚的非星形胶质细胞方法，以确保全面洞察。

他们的研究的核心是三细胞突触，一种包括星形胶质细胞、突触前神经元和突触后神经元的普遍三方连接。研究人员强调，这些三细胞突触在变形金刚模型的自注意机制中具有执行规范化任务的潜力。

他们利用变形金刚固有的基本数学组件，并构建了简单的生物物理模型，说明了星形胶质细胞与神经元在大脑通信过程中的相互作用。这个过程基于对现有文献的广泛探索，并受到合作神经科学家提供的见解的帮助。通过巧妙组合这些模型，他们得到了一个神经元-星形胶质细胞网络方程，美妙地捕捉了变形金刚的自注意机制。

研究人员现在正在从理论概念转向实际应用。他们即将进行的任务是对他们模型的预测与生物实验观察结果进行审查，这是一个关键阶段，可能会完善或挑战他们提出的假设。

他们研究中的一个有趣想法是星形胶质细胞在长期记忆中的潜在作用。这个想法的出现是因为网络需要有效地存储信息以供将来行动使用，这暗示了星形胶质细胞可能参与到这个记忆过程中。

尽管将变形金刚和大脑结合的有趣可能性令人着迷，但重要的是要认识到人类和变形金刚的学习过程存在显著差异。变形金刚对数据有着永无止境的渴望，对训练需要大量能量。相反，人脑的功能在相对较小的能量预算上运行，类似于日常笔记本电脑。它不需要庞大的、互联网规模的训练数据集来发展语言技能。