这项AI研究介绍了MeshGPT：一种新颖的形状生成方法，直接将三角形网格作为输出
探索MeshGPT：一种创新的形状生成方法，直接输出三角形网格
MeshGPT是由慕尼黑工业大学、都灵理工大学和奥迪汽车股份公司的研究人员提出的一种用于自回归生成三角网格的方法，利用基于GPT的架构，训练于一个学习过的三角形序列词汇表。此方法使用几何词汇和潜在几何标记来表示三角形，产生连贯、干净、紧凑且有锐利边缘的网格。与其他方法不同，MeshGPT直接生成三角形网格，无需转换，展示了以高保真度生成已知和新颖逼真形状的能力。
早期的形状生成方法，包括基于体素和点云的方法，面临着捕捉细节和复杂几何的限制。尽管隐式表示方法将形状编码为体积函数，但经常需要进行网格转换，并产生密集的网格。以前的基于学习的网格生成方法需要在准确的形状细节捕捉方面提供帮助。MeshGPT与PolyGen有所不同，它利用单个仅解码器的网络，使用学习过的标记来表示三角形，从而实现简化、高效且高保真度的网格生成，并在推理过程中提高鲁棒性。
MeshGPT提供了一种3D形状生成方法，直接使用仅解码器的Transformer模型生成三角形网格。该方法通过利用学习过的几何词汇和图卷积编码器将三角形编码成潜在嵌入，ResNet解码器实现自回归网格序列生成。MeshGPT在形状覆盖范围和Fréchet Inception Distance (FID)得分方面优于现有方法，为创建3D资源提供了一种简化的过程，无需后期处理密集或过度平滑的输出。
MeshGPT采用仅解码器的Transformer模型，训练于几何词汇表，将标记解码为三角形网格面。它利用图卷积编码器将三角形转换为潜在量化嵌入，由ResNet翻译为生成的顶点坐标。进行了全分类预训练、训练时数据增强以及评估几何嵌入等组件的消融研究。通过形状覆盖范围和FID得分评估MeshGPT的性能，显示优越于最新方法。
MeshGPT展示了对比Polygen、BSPNet、AtlasNet和GET3D等主要网格生成方法具有优越性能，展示了在形状质量、三角剖分质量和形状多样性方面的卓越表现。该过程生成了干净、连贯且详细的网格，具有锐利的边缘。在用户研究中，MeshGPT在整体形状质量和三角剖分模式相似性方面，明显优于竞争方法。MeshGPT能够生成训练数据之外的新形状，突显了其逼真性。消融研究强调了学习几何嵌入对形状质量的积极影响，相比于天真的坐标标记化。
总而言之，MeshGPT已经证明在生成具有锐利边缘的高品质三角网格方面具有卓越性能。它使用仅解码器的Transformer和融入了学习过的几何嵌入的词汇学习，产生的形状与真实三角剖分模式密切匹配，超越现有方法在形状质量上的表现。最近的研究表明，用户更倾向于选择MeshGPT，因为它比其他方法在整体形状质量和与真实三角剖分模式的相似性方面表现更好。
