Atari 100K基准测试中的超人表现：BBF的力量-来自Google DeepMind，Mila和蒙特利尔大学的新价值RL智能体

深度强化学习（RL）已成为解决复杂决策任务的强大机器学习算法。为了克服在深度RL训练中实现人类级别样本效率的挑战，Google DeepMind、Mila和蒙特利尔大学的研究人员介绍了一种新颖的基于价值的RL代理，称为“更快、更好、更快”（BBF）。在他们最近的论文“更大、更好、更快：具有人类级别效率的人类级别Atari”中，该团队展示了BBF代理的超人类表现，在单个GPU上使用Atari 100K基准。

解决尺度问题

研究团队的主要重点是解决深度RL中神经网络的尺度问题，当样本有限时。在D’Oro等人（2023）开发的SR-SPR代理的基础上，BBF采用收缩和扰动方法，将50%的卷积层参数向随机目标扰动。相比之下，SR-SPR只扰动20%的参数。这个修改导致BBF代理的性能提高。

• Scikit-LLM：在scikit-learn框架内使用LLM模型强化Python文本分析
• ChatGPT的指纹：DNA-GPT是一种使用分歧N-Gram分析的GPT生成文本检测方法
• 如何像老板一样进行MLOps：无痛机器学习指南

扩展网络容量

为了扩展网络容量，研究人员利用Impala-CNN网络，并将每层大小增加四倍。观察到当网络宽度增加时，BBF始终优于SR-SPR，而SR-SPR在原始大小的1-2倍时达到顶峰。

提高性能的增强策略

BBF引入了一个更新时间步的组件，从10指数级地降到3。令人惊讶的是，这个修改产生了比Rainbow和SR-SPR等固定值代理更强的代理。此外，研究人员应用了权重衰减策略，并在学习过程中增加折扣因子，以缓解统计过拟合问题。

实证研究和结果

在他们的实证研究中，研究团队比较了BBF代理与几个基线RL代理（包括SR-SPR、SPR、DrQ（eps）和IRIS）在Atari 100K基准上的表现。BBF在性能和计算成本方面均超过了所有竞争对手。具体来说，BBF在几乎相同的计算资源下比SR-SPR的性能提高了2倍。此外，BBF展示了与基于模型的EfficientZero方法相当的性能，但运行时间缩短了4倍以上。

未来的影响和可用性

引入BBF代理代表了深度RL中实现超人类表现的重大进展，特别是在Atari 100K基准上。研究团队希望他们的工作能激发未来的努力，推动深度RL中样本效率的界限。与BBF代理相关的代码和数据在项目的GitHub存储库中公开，使研究人员能够探索和建立在他们的发现之上。

随着BBF代理的引入，Google DeepMind及其合作伙伴在深度强化学习方面取得了显著进展。通过解决样本效率的挑战，并利用网络扩展和性能增强的进展，BBF代理在Atari 100K基准上实现了超人类表现。这项工作为改进RL算法的效率和效果开辟了新的可能性，为该领域的进一步发展铺平了道路。