“认识Universal Simulator (UniSim)：通过生成建模的真实世界互动的交互式模拟器”
“体验真实世界互动：认识通用模拟器(UniSim)的生成建模交互式模拟器”
生成模型已经在文本、图像和视频的内容创作方面发挥了重要作用。下一个前沿就是模拟由人类和代理行为而引发的逼真体验。为此，研究者们探索了一种名为UniSim的通用模拟器。UniSim利用多样的数据集，每个数据集都捕捉了真实世界相互作用的不同方面。它通过模拟视觉结果来模拟人类和代理与世界的互动，以对高层指令和低层控制做出回应。UniSim的应用范围从培训实体代理到通过模拟经验增强视频字幕模型。
加州大学伯克利分校、Google DeepMind、麻省理工学院和阿尔伯塔大学的研究人员们通过将互联网规模的生成模型的成功应用于文本任务之外，来解决为真实世界相互作用开发世界模型的挑战。尽管之前的工作集中在生成特定领域的视频上，但这项研究开创了为交互式代理培训开发通用模拟器的概念。通过这些模拟器提供广泛的环境访问权限，目标是增强代理的多轮交互能力，并为包括视觉语言规划器和强化学习策略在内的各种代理带来好处。
生成模型已经在内容创作方面取得了革命性的进展，但在模拟真实世界经验方面仍需帮助。UniSim利用多样的数据集来影响人类互动的各个方面，从高层指令到低层控制。目标是在纯粹的模拟中对代理和机器智能模型进行训练，以实现零-shot转移到真实世界应用，弥合模拟与真实世界之间的差距。
UniSim利用了涵盖了各种真实世界互动方面的数据集。使用的数据集涵盖了包含丰富物体的图像数据、来自机器人数据的密集采样动作以及导航数据中的多样运动。UniSim学习根据高层指令和低层控制在静态场景和物体中模拟视觉结果。他们的研究概述了强化学习策略训练过程中的初始化和行为克隆目标。
他们的研究突显了UniSim的能力，完全在模拟中训练高层视觉语言规划器和低层强化学习策略，实现零-shot的真实世界转移。它进一步将这种实用性扩展到视频字幕等其他形式的机器智能模型，扩大了其应用范围。UniSim生成的长视程数据显著提高了视觉语言模型（VLM）策略在长视程目标条件任务中的完成率，相比于短视程训练数据提高了3-4倍。
他们的研究提到，像其他当代基础模型一样，UniSim需要大量的计算资源。然而，必须详细说明特定技术方法，以了解技术局限性的洞察力有限。他们的研究需要讨论UniSim在不同领域的普适性以及训练数据集中的潜在偏见。值得注意的是，它没有涉及在机器智能训练中使用模拟经验的道德考虑。
他们的研究展示了UniSim通过生成建模来为真实世界相互作用创造通用模拟器的潜力。UniSim可以模拟各种经验，并有效地训练自主代理。它能够实现高层视觉语言规划器和低层强化学习策略的零-shot转移。此外，视频字幕等其他机器智能模型也受益于UniSim的训练，拓宽了其应用范围。UniSim的长视程数据显著提高了VLM在目标条件任务中的性能。
未来的研究应该提升UniSim适应不同领域的能力，并解决潜在的数据集偏见问题。必须深入探索在机器训练中使用模拟经验的道德影响和意外后果。应该发展详细和全面的UniSim训练方法，并更深入地了解其技术局限性和挑战。还应该研究在真实世界模拟器中进行富有行动性的互动和长视程展开的替代方法，以增强UniSim的能力。
