“TEXTure相遇：一种用于3D网格的文本引导纹理的新型人工智能（AI）框架”

TEXTure相遇：新型AI框架用于3D网格中的文本引导纹理

文本到图像生成是人工智能领域中一项新颖且迷人的研究领域，其目标是基于文本描述生成逼真的图像。从文本生成图像的能力具有广泛的应用，从艺术到娱乐，可以用于为书籍、电影和视频游戏创建视觉效果。

文本到图像生成的一个特定应用是纹理图像，其中涉及创建代表不同类型纹理（如织物、表面和材料）的图像。纹理图像在计算机图形学、动画和虚拟现实中具有重要应用，逼真的纹理可以增强用户的沉浸式体验。

另一个人工智能研究领域的兴趣是3D纹理转移，它涉及在3D环境中从一个对象向另一个对象的纹理信息传递。这个过程通过将纹理信息从源对象传递到目标对象来创建真实的3D模型。这种方法可以在产品可视化等领域中使用，其中逼真的3D模型至关重要。

深度学习技术已经彻底改变了文本到图像生成领域，使得可以创建高度逼真和详细的图像。通过使用深度神经网络，研究人员能够训练模型生成与文本描述密切匹配的图像，或者在3D对象之间传递纹理。

最近在语言引导模型上的工作间接利用了著名的文本到图像生成模型“稳定扩散”进行分数蒸馏。这种技术涉及从一个大型网络中提取知识并将其蒸馏到一个较小的网络中，该网络被训练以预测从第一个网络分配给图像的分数。

尽管与以前使用的技术相比，这些模型在3D纹理转移过程中达到的质量方面有了重大改进，但与其2D对应物相比，这些模型仍然存在不足之处。

为了提高3D纹理转移的准确性，提出了一种名为TEXTure的新型人工智能框架。

下图显示了管道的概述。

与上述方法不同，TEXTure在渲染图像时应用了完整的去噪过程，利用了深度条件扩散模型。

给定一个3D网格进行纹理，核心思想是从不同的视点迭代地渲染它，应用基于深度的绘画方案，然后将其投影回一个图集。

然而，纯粹地应用这个过程的风险是由于生成过程的随机性而产生不真实或不一致的纹理。

为了解决这个问题，所选的3D网格被划分为“保留”、“细化”和“生成”区域的修剪图。

“生成”区域是需要从头开始绘制纹理的对象部分；“细化”是指从不同角度纹理化的对象部分，现在需要调整到新的视角；“保留”描述了保留绘制纹理的行为。

根据作者的说法，结合这三种技术可以在短短几分钟内生成高度逼真的结果。

作者呈现的结果如下，并与最先进的方法进行了比较。

这是 TEXTure 的概述，它是一种用于文本引导的三维网格纹理的新型人工智能框架。

如果您对此框架感兴趣或想了解更多信息，您可以在论文和项目页面中找到链接。

请查看论文，代码和项目页面。所有这项研究的功劳归功于该项目的研究人员。此外，请不要忘记加入我们的26k+ ML SubReddit、Discord 频道和电子邮件通讯，我们在这里分享最新的人工智能研究新闻、酷炫的人工智能项目等。

利用 TensorLeap 进行有效的迁移学习：克服领域差距

本文首次发表在 MarkTechPost 上，标题为认识 TEXTure：一种新型的人工智能（AI）框架，用于文本引导的三维网格纹理。