三星AI研究人员推出神经剪发：一种新颖的AI方法，可以从视频或图像中重构基于股的人发几何形状
三星AI研究人员推出神经剪发：一种新颖的AI方法，可以重构人发几何形状 The condensed English translation is Samsung AI researchers have developed Neural Haircut, a novel AI method that can reconstruct the geometric shape of hair based on videos or images.
来自三星人工智能中心、Rockstar Games、FAU Erlangen-Nurnberg和Cinemersive Labs的研究人员提出了一种全新的基于图像的建模技术，可以从照片或视频帧的多个视图中提取人类头发。由于其非常复杂的几何形状、物理特性和反射特性，头发重建是人类三维建模中最困难的任务之一。然而，它对于许多应用非常重要，包括游戏、远程存在和特效。三维多段线或发丝是计算机图形中描述头发的最流行方式，因为它们可用于物理建模和逼真渲染。现代基于图像和视频的人体重建系统经常使用具有较少自由度且更容易估计的数据结构来模拟发型，包括体积表示或具有固定拓扑结构的网格。
因此，这些技术经常产生过度平滑的发型几何形状，并且只能准确地表示发型的“外壳”，而无法捕捉其核心结构。使用灯光舞台、控制的照明设备和具有同步摄像头的密集捕捉系统，可以进行准确的基于发丝的头发重建。最近，依靠有组织或一致的照明和相机校准加速重建过程的方法取得了惊人的结果。最新的努力还使用了对头发生长方向进行逐帧手动注释的方法，以产生物理可信的重建结果。复杂的捕捉设置和繁琐的预处理要求使得这种技术在许多实际应用中不切实际，尽管研究结果的质量非常出色。
几种基于学习的发型建模算法使用从基于发丝的合成数据中发现的发型先验来加速获取过程。然而，训练数据集的数量是这些方法准确性的自然决定因素。由于大多数现有数据集只包含几百个样本，它们需要更大的数据集来适当处理各种人类发型，这导致重建质量较低。本研究提供了一种在无控制光照环境下运行并且不需要进一步用户注释的发型建模技术。他们创建了一个两阶段的重建过程来实现这一点。第一步中的粗略体积发恢复完全是数据驱动的，并使用隐式体积表示。第二步，称为精细的基于发丝的重建，工作在个别发丝的水平上，主要依赖于从小型合成数据集中发现的先验知识。对于头发和胸部（头部和肩膀）区域，他们在第一步中重新创建了隐式表面表示。
此外，通过将它们与训练图片中显示的发型方向或使用可微投影的2D方向图进行比较，可以学习到一个称为3D方向的发型生长方向场。尽管这个场可以帮助更准确地拟合发型形状，但它的主要应用是限制第二阶段对发丝的优化。他们使用基于图片梯度的传统方法从输入帧生成发型方向图。
为了生成基于发丝的重建，第二阶段使用预训练的先验知识。他们使用从合成数据中训练的增强参数模型来表示个别发丝及其联合分布或整个发型。因此，通过优化过程，这个阶段将先前阶段中实现的粗略发型重建与基于学习的先验进行调和。最后，他们使用基于软光栅化的新型发型渲染器，通过可微分渲染来增加重建发型的逼真度。
总之，他们的贡献包括：
• 发丝先验的改进训练方法
• 用于胸部和头发区域的人头三维重建方法，包括发型方向
• 使用基于潜在扩散的先验的全局发型建模，与参数化的发丝先验“接口”
• 可微分的软毛发光栅化方法，比之前的渲染技术产生更精确的重建。
• 导线拟合方法结合了以上所有元素，以在发丝级别上进行出色的人发重建。
他们使用智能手机的单目电影和在无限制照明环境下操作的3D扫描仪的多视图照片来测试他们的技术在人工和真实数据上的有效性。
