“CT2Hair:用于创建适用于下游图形应用程序的高保真3D头发模型的全自动框架”
CT2Hair Automated framework for creating high-fidelity 3D hair models for downstream graphics applications.
谁不喜欢游戏呢?游戏中的人物形象越自然时尚,我们就会越喜欢。是否有可能有与自然头发完全相似的图形呢?
除了3D头发制作工具外,艺术家的手工创作既费时又难以扩展,并且还可能受到当前3D制作工具的限制而产生偏见。创建一个准确代表卷曲、柔滑、直发和波浪等各种真实世界头发变化的大型数据集是一个很大的挑战。国家重点实验室和元实境实验室的研究人员成功地从真实世界的假发中重建了各种发型图形作为输入。
研究人员创建了头发区域的密度体积,这使他们能够看穿头发,与基于图像的可视表面方法不同。创建密度体积的方法是计算机断层扫描(CT)。他们使用X射线进行CT扫描,以获得高分辨率和大的扫描体积。CT X射线通常用于重建人体组织或一般物体。由于头发细丝的结构较薄,从CT中恢复完整的人体头发细丝是一项非常棘手的任务。这将在CT成像中产生噪音并降低分辨率。为了解决这个问题,他们采用了粗到精的方法。
- 想象一下,用任何LLM代替OpenAI,而且只需要一行代码!来见识一下Genoss GPT:一个与OpenAI SDK兼容,并且建立在像GPT4ALL这样的开源模型之上的API
- 使用Hugging Face的Transformer模型构建评论毒性排序器
- 躲避AI就业市场末日:生存指南-第二部分
他们首先从噪音密度体积(真实假发)中估计了一个3D方向场,并使用估计的方向场提取了有用的引导细丝。然后,他们使用神经插值方法在头皮上填充细丝,并最终通过优化使其与输入密度体积精确匹配。优化步骤涉及将重建的头发细丝与输入体积更好地对齐。他们的工作不包括特定发型的手工先验,因此他们能够在一个框架中恢复多样的发型。
研究人员将他们的方法与其他三种基于图像的方法进行了比较,这些方法包括基于单视图、基于稀疏视图和基于密集视图。他们发现,基于单视图和基于稀疏视图的方法对于相对简单的发型产生了合理的结果,但在卷曲发型中遭遇了巨大失败,因为缺乏训练数据集。基于密集视图的过程超越了这两种方法,但在推断内部几何形状方面失败,并因此产生了不完整的几何形状。相反,研究人员的模型显示出良好的几何形状并包含更多细节,使它们看起来更加逼真。
然而,将这种思想应用于捕捉真实的人类头部仍然具有挑战性。工业CT扫描仪使用的X射线曝光量超过了对生物体的安全限制,因此使用它来建模面部几何形状是不可行的。研究人员表示,即使在扫描过程中产生微小的运动也会导致密度体积中的显著模糊。
通过实施机器学习方法,未来的研究可能会生成大量高质量的3D头发数据,使他们能够使用医学CT扫描仪即使从低分辨率密度体积中推断出3D头发模型。