DeepMind的AI大师玩家：在两小时内学习了26个游戏
强化学习是 Google DeepMind 的核心研究领域，利用人工智能解决现实世界的问题具有巨大潜力。然而，其培训数据和计算能力的低效性产生了重大挑战。DeepMind 与 Mila 和 Université de Montréal 的研究人员合作，推出了一个 AI 代理，打破了这些限制。这个代理被称为 “Bigger, Better, Faster (BBF)” 模型，在学习 26 个游戏的同时在 Atari 基准测试中取得了超人类表现，仅用了两个小时。这个卓越的成就为高效的 AI 培训方法开辟了新的大门，并为 RL 算法未来的进步打开了可能性。
了解更多：在 DataHack Summit 2023 的研讨会上，使用最新的 AI 技术解锁强化学习的不可思议潜力并应对现实世界的挑战。
强化学习的效率挑战
长期以来，强化学习一直被认为是实现 AI 处理复杂任务的一种有前途的方法。然而，传统的 RL 算法在实际应用中存在效率低下的问题。这些算法需要大量的培训数据和大量的计算能力，使它们资源密集并且耗时。
还阅读过：全面指南强化学习
Bigger, Better, Faster (BBF) 模型：超越人类
DeepMind 的最新突破来自 BBF 模型，在 Atari 基准测试中展现出了异常的表现。虽然之前的 RL 代理已经在 Atari 游戏中超越了人类玩家，但 BBF 之所以与众不同，是因为它在仅仅两个小时的游戏时间内就取得了如此惊人的结果，这与人类测试者拥有的时间框架相当。
无模型学习：一种新方法
BBF 的成功归因于其独特的无模型学习方法。通过依靠与游戏世界的交互中获得的奖励和惩罚，BBF 避免了构建显式游戏模型的需要。这个简化了的过程让代理专注于学习和优化其表现，从而实现更快速和高效的培训。
还阅读过：使用 OpenAI 和 TensorFlow 的人类反馈增强强化学习
增强的培训方法和计算效率
BBF 的快速学习成就是几个关键因素的结果。研究团队采用了更大的神经网络、优化的自我监控培训方法，并实施了各种增强效率的技术。值得注意的是，BBF 可以在单个 Nvidia A100 GPU 上进行培训，与以前的方法相比，减少了所需的计算资源。
基准测试进展：RL 进步的垫脚石
尽管 BBF 还没有在基准测试中的所有游戏中超越人类表现，但在效率方面却超越了其他模型。当与在所有 55 个游戏上培训了 500 倍的数据的系统相比时，BBF 的高效算法表现出了相当的性能。这个结果验证了 Atari 基准测试的适用性，并为寻求 RL 项目资金的较小研究团队提供了鼓励。
超越 Atari：扩展 RL 的前沿
虽然 BBF 模型的成功已经在 Atari 游戏中得到了证明，但其影响超出了这个特定的领域。BBF 所取得的高效学习技术和突破为强化学习的进一步发展铺平了道路。通过激励研究人员推动深度 RL 中的样本效率的界限，实现在所有任务中具有超人类效率的人类级表现的目标变得越来越可行。
还阅读过：研究表明启发式框架优于强化学习
AI 景观的影响：迈向平衡的一步
更高效的 RL 算法（如 BBF）的出现是建立平衡的 AI 景观的重要一步。虽然自我监督模型在该领域占据主导地位，但 RL 算法的效率和效果可以提供一个引人注目的替代方案。DeepMind 在 BBF 上的成就为 RL 的未来在通过 AI 解决复杂的现实世界问题中发挥重要作用打下了基础。
我们的看法
DeepMind 开发的 BBF 模型可以在仅两个小时内学习 26 个游戏，这标志着强化学习的一个重要里程碑。通过引入无模型学习算法并利用增强的培训方法，DeepMind 彻底改变了 RL 的效率。这个突破推动了该领域的进步，并激励研究人员继续推动样本效率的界限。未来将朝着在所有任务中实现具有超人类效率的人类级表现的目标前进。
