使用预训练的文本到图像扩散模型完成点云补全

使用预训练的模型完成点云补全

你听说过点云这个术语吗？它是三维数据的基本表示，由三维坐标系中的点组成，描述了物体或环境的几何和空间属性。由于提供了丰富和详细的实物对象表示，点云广泛应用于计算机视觉、虚拟现实和自动驾驶等领域。

点云是使用深度传感器（如激光雷达扫描仪或深度相机）获取的。激光雷达扫描仪发射激光束，并测量激光束击中物体后反弹回来所需的时间。深度相机使用结构光或飞行时间技术估计图像中每个像素的深度。

尽管点云提供了有关三维世界的宝贵信息，但它们常常存在缺陷和不完整性。遮挡、传感器限制和噪声等因素可能导致数据点缺失或噪声，从而使得获取完整和准确的场景或被捕捉对象的表示变得具有挑战性。这种限制阻碍了点云在各种应用中的有效利用。

为了克服这些限制并对三维世界进行全面理解，研究人员一直在探索点云完成技术。

深度学习和生成模型的最新进展在点云完成方面取得了显著进展。通过在大规模完整点云数据集上训练模型，这些方法可以根据训练数据中观察到的上下文信息和模式推断出缺失的几何形状。即使在部分或噪声输入数据存在的情况下，它们也展示了在完成复杂和详细的物体形状方面的令人印象深刻的结果。

然而，如果点云不属于训练集中看到的对象，这些方法往往难以完成点云。现在让我们来认识一下SDS-Complete，它使用扩散模型来解决这个问题。

SDS-Complete利用预训练的文本到图像扩散模型来指导点云中缺失部分的完成。传统的点云完成方法主要依赖于具有有限形状类别范围的大规模数据集。然而，现实世界的场景要求完成多种不同的对象类别，这在开发能处理如此多样性的模型时面临着重大挑战。

SDS-Complete背后的关键思想是利用预训练的文本到图像扩散模型中包含的先验知识。这些模型已经在许多不同的对象上进行了训练，使它们成为完成缺失部分的宝贵资源。通过将扩散模型的先验信息与观察到的部分点云相结合，SDS-Complete生成准确且逼真的三维形状，忠实地反映部分观测。

为了实现这种结合，SDS-Complete利用了SDS损失和有符号距离函数（SDF）表面表示。损失确保与输入点的一致性，而SDF表示则能够保留由不同深度传感器捕捉到的现有三维内容。该方法考虑了文本和点云的输入约束，允许根据文本信息和观测数据完成对象表面。

他们的Github页面。您还可以在他们的项目页面上看到更多演示。