深度语言模型通过学习从上下文中预测下一个词来不断提高：这真的是人类大脑所做的吗？

深度语言模型学习预测下一个词，类似人脑吗？

深度学习在文本生成、翻译和补全方面近年来取得了显著进展。通过训练算法从周围的上下文中预测单词，这些算法对于实现这些进展至关重要。然而，尽管有大量的训练数据，深度语言模型仍然需要帮助执行长篇故事生成、摘要、连贯对话和信息检索等任务。已经显示出这些模型需要帮助捕捉语法和语义属性，它们的语言理解需要更加表面。预测编码理论表明，人的大脑在皮层层次结构上跨越多个时间尺度和表示级别进行预测。尽管之前的研究已经显示出大脑中存在语音预测的证据，但预测表示的性质和它们的时间范围仍然大部分未知。最近，研究人员分析了304名个体在听短篇故事时的脑电信号，并发现通过增强深度语言模型的长程和多层次预测可以改善脑图谱。

该研究的结果揭示了大脑皮层中语言预测的分层组织。这些发现与预测编码理论一致，该理论表明大脑在多个表达级别和时间尺度上进行预测。通过将这些思想纳入深度语言模型中，研究人员可以弥合人类语言处理和深度学习算法之间的差距。

本研究通过检查皮层层次结构是否预测了多个表示级别，跨越了多个时间尺度，超出了深度语言算法通常学习的邻域和单词级别的预测，评估了预测编码理论的具体假设。对比了现代深度语言模型和304名听口述故事的人的脑活动。研究发现，通过增加长程和高层次预测来补充深度语言算法的激活最能描述脑活动。

• 认识DeepOnto：一个使用深度学习进行本体工程的Python包
• 谷歌AI提出了一种新的方法来减轻LLMs的负担：成对排名提示
• 从DeepMind到初创企业成功：与Aleksa Gordić一起踏上AI前沿的旅程

这项研究做出了三个主要贡献。首先，发现额叶上回和侧、背外侧和下额叶皮质具有最大的预测距离，并且积极预测未来的语言表示。优越颞沟和回最适合使用低层次预测模型，而中颞、顶叶和额叶区域最适合使用高层次预测模型。其次，预测表示的深度沿着类似的解剖结构变化。最后，证明了长期预测受语义特征而不是句法特征的影响。

根据数据，侧、背外侧、下额叶和额叶被证明具有最长的预测距离。这些皮层区域与抽象思维、长期规划、注意力调节和高层语义等高层执行活动有关。根据研究，这些处于语言层次结构顶部的区域可能在被动处理过去的刺激之外，还积极预测未来的语言表示。

研究还展示了预测表示的深度在相同的解剖结构中存在变化。优越颞沟和回最适合使用低层次预测模型，而中颞、顶叶和额叶区域最适合使用高层次预测模型。这些结果与假设一致。与现代语言算法不同，大脑预测的表示不仅仅限于单词级别，而是涉及多个层次的表示。

最后，研究人员将大脑的激活分为句法和语义表示，发现语义特征而不是句法特征影响长期预测。这一发现支持了长篇语言处理的核心可能涉及高层语义预测的假设。

该研究的总体结论是，通过持续训练算法预测多个时间线和表示级别，可以改进自然语言处理的基准，并使模型更接近大脑。