来自哥伦比亚大学和DeepMind的研究人员介绍了GPAT：一种基于Transformer的模型架构，通过推断每个部位的形状与目标形状相对应，准确预测部位姿态

Researchers from Columbia University and DeepMind introduced GPAT a Transformer-based model architecture that accurately predicts the pose of each part by inferring its shape corresponding to the target shape.

通过视觉空间推理组装新物体的自主机器人系统具有广泛的实际应用潜力。尽管部件组装取得了显著进展，但现有方法仍限于预定义的目标或熟悉的类别。为了解决这个限制，哥伦比亚大学和Google DeepMind的联合研究团队在他们的开创性论文《通用部件组装规划》中引入了通用部件组装变压器（GPAT）。GPAT是一种基于变压器的组装规划模型，具有强大的泛化能力，使其能够自动估计各种新颖目标形状和部件。

GPAT的主要贡献

1. 通用部件组装任务：

• 指标可能会欺骗人，但眼睛不会：这种AI方法提出了一种用于视频帧插值的感知质量指标
• 大规模生物分子动力学的深度学习：哈佛大学研究在各种系统上扩展了一个大型、预训练的 Allegro 模型
• 使用Python进行（生物）图像分析：使用Matplotlib读取和加载显微图像

团队提出了通用部件组装任务，以评估自主系统使用未见过的部件构建新颖目标的能力。通过扩大范围超出预定义的目标，GPAT旨在灵活和适应性地改变部件组装。

2. 目标条件下的形状重排：

为了解决与通用部件组装相关的规划问题，GPAT将部件组装视为目标条件下的形状重排任务。它将问题作为“开放词汇”目标对象分割任务来处理，使模型能够处理各种部件形状和配置。

3. 引入通用部件组装变压器（GPAT）：

GPAT作为一种专为组装规划而设计的新型变压器模型。通过训练过程，GPAT学习如何推广到不同的目标和部件形状。该模型的主要目标是预测每个输入部件的6自由度部件姿态，最终形成最终的部件组装。

方法

1. 目标分割：

GPAT的第一步涉及目标分割，它使用通用部件组装变压器将目标分解为不相交的部分，每个部分表示变换后部件的细节。通过分割目标点云，GPAT能够更深入地了解其组成部分和空间关系。

2. 姿态估计：

GPAT方法的第二步是姿态估计。在这里，模型将部件集和目标的分段作为输入，确定每个部件的最终6自由度部件姿态。GPAT通过姿态估计精确地对齐部件，实现成功和准确的部件组装。

GPAT的引入对自主机器人系统带来了重大的影响。通过利用视觉空间推理和其对新颖和多样形状的泛化能力，GPAT在各种实际应用中具有巨大的潜力。制造、建筑和物流等行业可以大大受益于GPAT的能力，因为它使自主系统能够高效准确地组装带有未见过部件的物体。

此外，研究团队的工作为未来自主组装规划的进一步发展奠定了坚实的基础。通过不断改进和提升GPAT的性能，研究人员可以开发出能够实时适应和学习的机器人，促进灵活和智能自动化的新时代。