Google AI的AdaTape是一种基于Transformer架构的新的AI方法

Google AI的AdaTape是一种基于Transformer架构的新的AI方法' 'AdaTape is a new AI method based on the Transformer architecture developed by Google AI.

在上周的一篇博文中，Google Research介绍了AdaTape，这是一种新的基于transformer架构的AI方法，利用自适应计算。AdaTape使用其自适应功能来创建一个弹性输入序列，可以调节其计算预算。

根据附带的研究论文，AdaTape直接将适应性注入到输入序列中，而不是模型深度。它还使用了自适应的磁带读取机制，用于确定基于输入复杂性的各种磁带标记，这些标记被添加到每个输入中。

该博文提到，AdaTape使用向量表示来表示每个输入，以动态选择一个可变大小的磁带标记序列。Google Research团队继续表示，AdaTape创建了所谓的“磁带空白”，用于存储所有候选磁带标记。

• 逐步解释核密度估计器
• Google DeepMind研究人员介绍了SynJax：一种用于JAX结构化概率分布的深度学习库
• AI模型功能强大，但它们是否符合生物学原理?

为了创建磁带库，研究人员使用了两种方法。第一种是输入驱动的库。它的工作方式是从输入中提取一组标记库，同时采用与原始模型标记器不同的方法，将原始输入映射为一系列输入标记。

第二种方法是可学习的库。这是一种更通用的方法，通过使用一组可训练的向量作为磁带标记来生成磁带库。完成所有这些操作后，生成的磁带标记将附加到原始输入中，并发送到transformer。

然后，使用两个前馈网络。一个用于原始输入，另一个用于所有磁带标记。研究人员观察到，对于输入和磁带标记，使用单独的前馈网络会稍微提高质量。

Google的团队发现，AdaTape在其输入选择机制中结合循环的所有基线中表现出色。他们还在图像分类任务上评估了AdaTape。在测试中，AdaTape在ImageNet-1K上进行了测试。他们发现，就质量和成本的权衡而言，AdaTape比替代的自适应transformer基线表现更好。

根据Google的结论，他们发现AdaTape有潜力解决对标准transformer和现有自适应transformer都具有挑战性的任务。如果您对了解更多信息感兴趣，可以在此处阅读论文，以及在此处阅读Google的帖子。

编辑注：如果您对transformers、大型语言模型和人工智能的最新进展感兴趣，那么您不会想错过ODSC West 2023。学习来自领先专家的知识，他们将在旧金山展开讨论。立即获取您的现场或虚拟通行证！