认识Wonder3D：一种新颖的人工智能方法，可以从单视角图像高效生成高保真带纹理的网格模型

体验Wonder3D：一种新潮的人工智能方法，通过单一角度图像快速生成细节丰富的纹理网格模型

从单个图像中重建3D几何形状代表了计算机图形学和3D计算机视觉领域的一项基础工作，正如之前的研究所显示的那样，这项任务具有重要意义。这项任务由于没有直接的解决方案，并且需要能够确定我们可以看到的物体和隐藏在视线之外的物体的3D形状，所以它非常困难。

在这项研究中，作者提出了Wonder3D，一种从单视图图像中高效生成高保真质感网格的创新方法。虽然最近的方法，特别是使用Score Distillation Sampling（SDS）的方法已经显示出从2D扩散先验恢复3D几何形状的潜力，但它们往往需要耗时的每个形状优化并且几何不一致。相反，一些现有技术通过快速的网络推理直接产生3D信息，但它们的结果通常具有低质量并且缺乏重要的几何细节。

上述图片展示了Wonder3D的概览。给定单个图像，Wonder3D接收输入图像、由CLIP模型产生的文本嵌入、多个视图的相机参数以及一个域切换器作为条件，生成一致的多视图法线图和彩色图像。随后，Wonder3D采用创新的法线融合算法从2D表示中稳健地重建高质量的3D几何形状，生成高保真质感网格。

• 图灵的磨坊：AI超级计算机推动英国经济发展
• “加利福尼亚大学圣地亚哥分校研究人员发布TD-MPC2：革新多领域基于模型的强化学习”
• 认识HITL-TAMP：利用自动化规划和人工控制的混合策略教授机器人复杂的操纵技能的新AI方法

为了保持这个生成过程的一致性，他们采用了多视图跨域注意机制，促进不同视图和模态之间的信息交流。此外，作者还引入了一种几何感知的法线融合算法，从多视图2D表示中提取高质量的表面。通过广泛的评估，他们的方法在与之前的方法相比实现了高质量的重构结果、稳健的泛化和提高的效率。

这里，我们可以看到Wonder3D在各种动物对象上的质量结果。尽管Wonder3D在从单个图像中创建3D形状方面显示出了潜力，但它也有一些局限性。其中一个局限性是它目前仅适用于对象的六个不同视图。这使得难以重建非常薄或部分被遮挡的物体。此外，如果我们想使用更多的视图，在训练期间需要更多的计算机资源。为了克服这一问题，Wonder3D可以使用更高效的方法来处理额外的视图。