注意游戏行业！镜像神经辐射场不再奇怪了
Attention gaming industry! Mirror neural radiation fields are no longer strange.
NeRFs或神经辐射场使用RNN和CNN的组合来捕捉物体的物理特征，如形状、材质和纹理。它们可以在不同的光照条件下生成逼真的物体图像。由于能够创建高分辨率图像，它们在医学、机器人技术和娱乐方面被证明最有用。
与存在于现实世界中的镜子的三维重建和渲染一直是计算机视觉中长期存在的挑战。通过使用NeRF处理镜子重建的不一致性，浙江大学的研究人员引入了Mirror-NeRF，通过提交反射概率并追踪遵循Whitted光线跟踪的光传输模型的光线，正确地渲染镜子中的反射。
NeRF、RefNeRF和NeRFReN这三种方法通过插值先前学习到的反射来生成新视点的镜子反射。然而，它们在可靠地推断训练过程中未见的反射以及为场景中新引入的物体或镜子合成反射方面存在局限性。新引入的技术Mirror-NeRF可以准确地绘制镜子中的反射，并通过将物理光线追踪集成到神经渲染过程中，为各种场景修改应用提供服务。
创建了五个合成数据集和四个实际数据集，并对峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像补丁相似性（LPIPS）的新视点综合合成进行了定量比较。由于镜子的凹凸不平的表面极大地影响了反射质量，因此在优化过程中还引入了一些正则化项。当所有正则化项都启用时，我们成功地获得了镜子中最高图像质量的精确反射。
研究结果显示，NeRF、Ref-NeRF和NeRFReN难以生成反射具有颜色高频变化的物体的反射，例如会议室镜子中扭曲的悬挂图片、办公室和休息室镜子中模糊的窗帘以及服装店镜子中的”模糊”服装。另一方面，新方法通过追踪反射光线渲染了物体的详细反射。尽管在镜子工作方面取得了巨大进展，但研究人员尚未在框架中融入折射。
总之，这一突破为游戏和电影行业带来了新的发展方向。艺术家可能希望创建复杂的视觉效果并利用镜子操作，例如用不同的场景替换镜子中的反射。我们可以通过多视角的一致性合成镜子中新场景的照片级真实视图。
