NVIDIA AI 研究人员提出了一种人工智能方法，通过将体积渲染限制在物体周围的一个窄带内，以高效地渲染 NeRF
NVIDIA AI 研究人员提出高效渲染 NeRF 的人工智能方法：窄带体积渲染限制在物体周围
来自Nvidia的研究人员介绍了一种神经辐射场形式，用于视图合成，可以在容积和基于表面的渲染之间高效地切换。该方法通过在神经容积表示周围构建显式网格包络，根据场景特征调整渲染过程。该方法显著加快了渲染速度，特别是在实心区域，每像素只需要一个样本就足够。该方法通过实验证明了高保真度的渲染效果，并引入了动画和模拟等下游应用的可能性。
该研究通过引入适应性外壳来扩展NeuS，一种神经辐射场（NeRF）形式，以实现高效的渲染。该方法可以根据场景特征调整其渲染方法，通过利用学习得到的空间变化的内核大小，显著减少所需的样本数量。它解决了NeRF的计算复杂性问题，探索加速策略，并与基于表面的方法进行了性能比较。该方法展示了与基准方法相当的结果，并且推断速度显著更快，适用于动画和物理模拟应用。
该方法解决了实时高分辨率新视角合成中的NeRF的计算成本问题。它引入了一种自适应外壳方法，将显式几何与NeRF相结合，为不同场景区域分配不同的渲染风格。这种方法显著减少了渲染所需的样本数量，同时保持或增强了感知质量。其目标是提高NeRF的效率，而不损害其高视觉保真度，在3D场景表示和合成中实现更加实用和实时的应用。
利用表面周围的显式网格包络减少了渲染所需的样本数量，同时保持了质量。所提出的方法利用三角网格表示，为外观渲染勾画出了重要区域。评估指标包括PSNR、LPIPS、SSIM以及沿射线每个像素的样本数量，提供了有关渲染质量和计算复杂性的见解。该方法在3D场景渲染方面提高了效率和视觉保真度。
所提出的自适应外壳方法减少了所需的渲染样本数量，同时保持了高保真度，便于动画和模拟等下游应用。在MipNeRF360数据集上表现出色，优于所有基准指标。在DTU数据集上的结果展示了渲染图像质量。综合使用不同的指标可以提供对方法的计算复杂性和整体性能的见解。
该研究在PSNR、LPIPS和SSIM等度量指标上实现了与基准方法相当的性能，展示了高效性。结合NeuS和空间变化的内核大小增强了NeRF渲染。通过预计算神经场输出的方法进一步加速。承认捕捉细结构的局限性，提出了未来工作的迭代过程。通过神经表示和高性能技术的协同作用，展望在计算机图形领域的实时进展。
未来的工作可以包括探索迭代程序以增强重建并适应自适应外壳。建议研究最近神经表示与实时图形技术的协同作用。建议通过SDF和全局内核大小进一步提高表面准确性，可能通过正则化实现。建议将自适应外壳方法与在离散网格上预计算的神经场输出相结合以获得额外的加速。通过迭代过程和算法改进解决捕捉细结构和减少伪影问题，作为未来研究的方向。
