“带我走进时间:SceNeRFlow是一种生成时间一致的NeRF的人工智能方法”

Time travel SceNeRFlow, an AI approach to generate time-consistent NeRF

神经辐射场(NeRF)最近在3D领域中成为了一个革命性的概念。它重新塑造了我们处理3D对象可视化的方式,并开启了新的可能性。它通过使机器能够以逼真的方式再现场景,弥合了数字和物理现实之间的差距。

在这个数字时代,视觉在沟通、娱乐和决策中发挥着核心作用,NeRF证明了机器学习模拟物理世界的能力,以一种以前被认为是不可想象的方式。

有了NeRF,您可以在虚拟环境中行走,尽管时间被冻结。因此,您实际上可以从不同的角度观察同一场景,但没有运动。

当然,那些对3D NeRF不满意并希望将时间考虑在内的人开始研究4D。这个新的领域,4D场景重建,最近出现了。这里的目标不仅是捕捉3D场景,还要记录它们随时间的变化。这种现象是通过时间上的复杂对应关系相互作用实现的,也被称为“时间一致性”。

以在一种保持时间一致性的方式中重建动态场景的概念是通往无数可能性的入口。虽然从RGB输入中以时间一致的方式重建一般动态对象的挑战仍然相对不被开发,但它的重要性不可低估。所以,让我们来认识一下SceNeRFlow

SceNeRFlow可以从多视角视频中重建一般的非刚性场景。来源:https://arxiv.org/pdf/2308.08258.pdf

SceNeRFlow不仅提供了从不同角度观看场景的能力,还能无缝地体验其时间变化。它提取的不仅仅是视觉数据,还包括场景的本质、变化和相互作用。

最大的挑战在于建立对应关系,即解码动态场景的潜在结构的过程。这就像在不同的时间步骤中分配对象位置一样。SceNeRFlow通过使用一个时间不变的几何模型来解决这个问题。

SceNeRFlow概述。来源:https://arxiv.org/pdf/2308.08258.pdf

SceNeRFlow探索了大运动和密集3D对应关系的时间一致性。以前的方法主要集中在新视角合成上,但SceNeRFlow采取了一种新的方法。它试图全面理解场景及其变换。它使用了一种复杂的技术,即向后变形建模,来实现这个目标。它提出了一种允许向后变形建模处理大幅非刚性运动的新方法。这一突破填补了理论与实践之间的鸿沟。

SceNeRFlow从一系列由固定相机在连续时间戳上捕获的多视角RGB图像开始,并建立了外部和内部的已知关系。这种方法使得能够重建场景的本质。基于对保持时间对齐的承诺,SceNeRFlow构建了一个时间不变的NeRF风格的规范模型,它包含了几何和外观,以时间演化的变形为支撑。这种方法以在线方式工作,它根据第一个时间戳构建一个初始的规范模型,然后在整个时间输入序列中持续跟踪其变化。结果是一个精心重建的场景,将流动的动作与坚定的一致性相结合,提供了一个复杂的场景转变的描绘。