元研究人员引入了VR-NeRF:一种用于高保真度捕捉和渲染虚拟现实中可行走空间的先进端到端AI系统
借助VR-NeRF,前研究员们带你进入逼真惊艳的虚拟现实世界:高度可探索的先进全方位AI系统
随着价格实惠的虚拟现实(VR)技术的出现,高度沉浸式的视觉媒体,如逼真的VR摄影和视频,得到了显著的增长。现有的方法主要可以分为以下两类:
- 具有小于1米直径的小头盒的高保真度视图合成将用户的移动范围限制在一个小区域内。
- 具有较低质量或帧速率的场景尺度自由视点合成,允许用户自由移动,但呈现的图像质量较低。
为了解决现有方法的局限性,本文作者介绍了VR-NeRF,该系统能够创建逼真的VR体验,用户可以在其中四处行走并探索现实世界的空间。研究人员使用的数据集包含数千个5000万像素的HDR图像,其中有几个数据集超过100亿像素,这使得他们的系统能够实现高保真度视图合成。
近年来,神经光辐射场(NeRF)的流行度显著增长,因为它们能够生成高质量的新视角合成。然而,现有的NeRF方法在处理大型复杂场景时效果不佳。
- 这篇AI论文介绍了RuLES:一种新的机器学习框架,用于评估大型语言模型在对抗攻击下的规则遵守情况
- 杜克大学研究人员提出了政策编织:一种新颖的人工智能框架,可以促进机器人在新的机器人和任务组合上进行转移学习
- 10个最佳ChatGPT提示,适用于人力资源专业人士
研究人员提出的NeRF方法专门针对他们设计的高保真度数据集,使其能够支持高质量的实时VR渲染。研究人员使用的多相机设备可以捕捉场景的许多均匀分布的HDR照片,这是一种独特的设备。
VR-NeRF还包括一个定制的GPU渲染器,允许在VR中进行高保真度渲染。此外,渲染器以36 Hz的恒定帧速率运行,从而产生了引人注目的VR体验。研究人员通过对即时神经图形原语(NGPs)进行了一些改进,使其能够生成具有准确颜色的图像,并在不同精细度级别上渲染图像,同时优化质量和速度之间的权衡。
研究人员还展示了他们挑战性的高保真度数据集的结果质量,并将他们的方法和数据集与现有基准进行了比较。他们表明,他们的方法能够产生具有宽动态范围的可行走空间的高质量VR渲染。
总之,VR-NeRF是一种全面的方法,用于在VR中捕捉、重构和渲染高保真度的可行走空间。该方法能够实现更高的分辨率、帧速率和视觉保真度,为用户提供全面的VR体验。研究人员提出的方法有潜力解决已有VR应用中存在的问题,并允许用户更详细地体验大型复杂场景。