剑桥的研究人员开发了一种使用机器学习的虚拟现实应用程序，使用户能够在虚拟现实中获得超人能力来打开和控制工具

剑桥研发机器学习技术的虚拟现实应用：化身超人，轻松操作工具掌控全场

快捷键通常在传统桌面应用程序中找到，是键盘快捷方式。剑桥大学的一个研究团队探索了在键盘输入不再是唯一选择的3D交互空间中寻找适合的快捷键替代方案。科学家们创建了一个虚拟现实程序，用户可以用手挥动来访问和使用多个3D建模工具。剑桥大学的团队利用机器学习创建了一个名为“HotGestures”的系统，类似于计算机桌面上的快捷键。

人类主要是视觉动物。因此，手势是传递信息和单词之间建立关系的一种自然方式。HotGestures允许用户通过简单的手势快速访问和使用虚拟工具。这种方法与标准的菜单导航很好地配合使用。通过两个用户测试，研究人员可以评估HotGestures的潜力，并发现基于手势的技术提供了快速高效的工具选择和快捷方式。参与者对HotGestures的接受程度很高，因为它独特、快速、易于使用，并且与传统的基于菜单的交互方式相辅相成。HotGestures允许用户构建虚拟现实的图形和形式，而无需与菜单进行交互，使他们能够保持注意力而不分散注意力。

尽管多年来被大肆宣传，但虚拟现实（VR）及其关联应用的潜力在游戏行业之外尚未完全实现。快捷键，例如ctrl+c和ctrl+v等命令快捷方式，对于使用桌面应用程序的任何人来说都是标准配置。这些快捷方式可以节省时间，因为无需搜索菜单以找到所需的功能，但它们只有在用户已经了解所需的命令时才有用。研究团队开发了“HotGestures”的概念，用于取代3D虚拟现实环境中的快捷键。

• 元研究人员引入了VR-NeRF：一种用于高保真度捕捉和渲染虚拟现实中可行走空间的先进端到端AI系统
• 这篇AI论文介绍了RuLES：一种新的机器学习框架，用于评估大型语言模型在对抗攻击下的规则遵守情况
• 杜克大学研究人员提出了政策编织：一种新颖的人工智能框架，可以促进机器人在新的机器人和任务组合上进行转移学习

例如，剪刀工具可以通过切割动作来激活，喷雾罐可以通过喷雾动作来激活。用户可以直接访问所需的功能，而无需在菜单中进行查找或记忆键盘快捷键。用户可以在不中断当前操作的情况下快速轻松地切换工具，而无需打开菜单或按下控制器或键盘上的按钮。

该研究开发了一个神经网络手势识别系统，它可以通过对包含用户手部关节位置的数据流进行预测来识别手势。该软件被开发用于记忆与创建3D模型相关的十个不同动作，包括使用钢笔、立方体、圆柱体、球体、调色板、喷雾、剪切、缩放、复制和删除。

该团队对30名参与者进行了两次初步试验，他们使用了HotGestures、菜单说明或两者。基于手势的方法可以快速轻松地访问经常使用的工具。HotGestures因其独特性、速度和易用性而受到参与者的好评，并且与传统的基于菜单的交互方式相辅相成。研究人员设计了一个可以区分命令和自然手势的系统，以确保没有意外激活。总体而言，基于手势的系统在速度方面优于基于菜单的系统。研究人员已发布了数据集和附带的源代码，以便虚拟现实应用程序开发人员可以将其纳入他们的业务中。