覆盖多种不同类型的机器人的学习规模扩大
机器人学习规模扩大，涵盖多种不同类型
我们与来自33个学术实验室的合作伙伴共享了来自22种不同机器人类型的数据，创建了开放式X具现化数据集和RT-X模型
机器人是很擅长专业领域，但在广义上表现较差。通常，您必须为每个任务、机器人和环境训练一个模型。即使是更改一个单一变量通常也需要从头开始。但如果我们能将机器人领域的知识结合起来，创造一种训练通用机器人的方法会怎样呢？今天，我们发布了一套资源，用于通用机器人学习，涵盖不同机器人类型或具现化。我们与来自33个学术实验室的合作伙伴共享了来自22种不同机器人类型的数据，创建了开放式X具现化数据集。我们还发布了RT-1-X，这是基于RT-1并经过我们的数据训练的机器人转换器（RT）模型，展示了在许多机器人具现化之间的技能转移。
在这项工作中，我们展示了在多个具现化的数据上训练一个模型相比于仅在单个具现化的数据上训练，显著提高了许多机器人的性能。我们在五个不同的研究实验室测试了我们的RT-1-X模型，相比于独立开发和针对每个机器人特定开发的方法，平均成功率提高了50％，并且在五个常用机器人中都有改善。我们还展示了在真实世界机器人技能上，将我们的视觉语言行动模型RT-2在多个具现化的数据上训练后，性能提高了三倍。
我们开发了这些工具，共同推动机器人社区中的跨具现化研究。感谢全球机器人实验室共享数据并帮助评估我们的模型，现在可以供广大研究社区使用开放式X具现化数据集和RT-1-X模型检查点。我们相信这些工具将改变机器人的训练方式并加速这个研究领域的发展。
开放式X具现化数据集：收集数据训练AI机器人
数据集和在其中训练的模型在推进人工智能方面起到了关键作用。就像ImageNet推动了计算机视觉研究一样，我们相信开放式X具现化也能推动机器人技术的发展。构建一个包含各种不同机器人演示的数据集是训练通用模型的关键步骤，该模型可以控制许多不同类型的机器人，遵循多样的指令，对复杂任务进行基本推理，并具有很好的泛化能力。然而，收集这样的数据集对于任何单个实验室来说都是资源密集型的。
为了开发开放式X具现化数据集，我们与20多个机构的学术研究实验室合作，从22个机器人具现化中收集了数据，展示了500多种技能和150,000多个任务，涵盖了超过1百万个事件。这个数据集是现有同类机器人数据集中最全面的。
RT-X：一个通用型机器人模型
RT-X基于我们的两个机器人变压器模型进行建立。我们使用RT-1来训练RT-1-X，这是我们针对实际世界的大规模机器人控制的模型，而我们用RT-2来训练RT-2-X，这是我们的视觉-语言-行动（VLA）模型，可以从网络和机器人数据中学习。通过这种方式，我们展示了在相同的模型架构下，RT-1-X和RT-2-X能够通过更多样化和跨身体数据的训练达到更好的性能。我们还展示了它们对特定领域训练的模型进行了改进，并展示了更好的泛化和新能力。为了评估RT-1-X在合作的学术机构中的表现，我们将其与为其特定任务开发的模型进行了比较，例如开门任务，并使用相应的数据集进行了对比。使用Open X-Embodiment数据集训练的RT-1-X在平均值上超过了原始模型50%。
RT-X中的新技能
为了研究知识在机器人之间的转移，我们在涉及到其他机器人数据集中存在但在RT-2数据集中不存在的对象和技能的任务上进行了实验。具体而言，RT-2-X在新技能方面的成功率是我们先前最好的模型RT-2的三倍。
我们的结果表明，与其他平台的数据共同训练为RT-2-X赋予了原始数据集中不存在的额外技能，使其能够执行新任务。
RT-2-X展示了RT-2模型之前无法实现的技能，包括更好的空间理解。例如，如果我们要求机器人“将苹果移动到布料附近”而不是“将苹果放在布料上”，轨迹会有很大的不同。通过将介词从“附近”改为“上”，我们可以调节机器人采取的动作。
RT-2-X表明，将来自其他机器人的数据合并到训练中可以改善可以执行的任务范围，即使机器人已经具有大量可用数据-但前提是要使用足够高容量的架构。
负责任地推进机器人研究
机器人研究正处在一个令人兴奋但还处于早期的阶段。新的研究显示，通过更多样化的数据和更好的模型进行学习，有可能开发出更有用的助手机器人。与世界各地的实验室合作并共享资源对于以开放和负责任的方式推进机器人研究至关重要。我们希望通过开放数据和提供安全但有限的模型，降低障碍并加速研究。机器人的未来依赖于使机器人能够相互学习，最重要的是使研究人员能够相互学习。
这项工作证明了可以实现跨实体的通用模型，在谷歌DeepMind以及世界各地不同大学的机器人上，性能得到了显著提高。未来的研究可以探索如何将这些进展与RoboCat的自我改进特性相结合，使模型能够通过自身的经验进行改进。另一个未来的方向可能是进一步探索不同数据集混合对于跨实体通用化的影响以及改进通用化的具体方式。
阅读我们的论文：https://robotics-transformer-x.github.io/paper.pdf
获取我们的数据和模型：https://robotics-transformer-x.github.io/
与我们合作：[email protected]
