谷歌DeepMind在ICML 2023的最新研究
谷歌DeepMind在ICML 2023的最新研究' can be condensed to '谷歌DeepMind在ICML 2023的最新研究' (Google DeepMind's latest research at ICML 2023)
下周将举办第40届国际机器学习会议(ICML 2023),于7月23日至29日在夏威夷檀香山举行。
ICML汇集了人工智能(AI)社区,共享新想法、工具和数据集,促进该领域的发展。从计算机视觉到机器人学,来自世界各地的研究人员将展示他们的最新进展。
我们的科学技术与社会主任Shakir Mohamed将发表关于具有社会目标的机器学习的演讲,解决医疗保健和气候等挑战,采取社会技术视角,加强全球社区。
我们非常荣幸作为白金赞助商支持该会议,并继续与我们的长期合作伙伴LatinX in AI、Queer in AI和Women in Machine Learning合作。
- “认识Mojo:一种新的编程语言,为AI开发人员提供了Python的易用性和C的性能,实现了AI硬件的无与伦比的可编程性和AI模型的可扩展性”
- 认识MPT-7B:一个在MosaicML的指导下,通过1T个文本和代码令牌进行训练的新开源大型语言模型
- 梯度提升:预测中的万能武器
在会议上,我们还展示了关于AlphaFold、我们在融合科学方面的进展,以及像PaLM-E用于机器人技术和Phenaki用于文本生成视频等新模型。
Google DeepMind的研究人员今年将在ICML上发表80多篇新论文。由于许多论文是在Google Brain和DeepMind合并之前提交的,最初是在Google Brain隶属下提交的论文将在Google Research博客中展示,而本博客则展示了在DeepMind隶属下提交的论文。
详细了解Google DeepMind在ICML 2023的日程安排:https://deepmind.events/events/icml-2023
(模拟)世界中的人工智能
能够阅读、写作和创作的人工智能的成功基于基础模型——在大量数据集上训练的人工智能系统,可以学习执行许多任务。我们最新的研究探索了如何将这些努力转化为现实世界,并为更具普遍能力和具身化的人工智能代理奠定基础,这些代理可以更好地理解世界的动态,为更有用的人工智能工具打开新的可能性。
我们在口头报告中介绍了AdA,一种人工智能代理,它可以在模拟环境中适应性地解决新问题,就像人类一样。在几分钟内,AdA可以承担具有挑战性的任务:以新的方式组合物体,导航未知的地形,并与其他玩家合作
同样,我们展示了如何使用视觉语言模型来帮助训练具身化代理——例如,告诉机器人它正在做什么。
强化学习的未来
为了开发负责任和值得信赖的人工智能,我们必须理解这些系统核心的目标。在强化学习中,可以通过奖励来定义这一点。
在口头报告中,我们旨在解决Richard Sutton最初提出的奖励假设,即所有目标都可以被视为最大化预期累积奖励。我们解释了它适用的精确条件,并澄清了可以(和不能)用奖励捕捉的目标种类在强化学习问题的一般形式中。
在部署人工智能系统时,它们需要足够强大以适应现实世界。我们研究如何在约束条件下更好地训练强化学习算法,因为人工智能工具通常必须受到安全性和效率的限制。我们还探索了如何教授模型在不确定性和信息不完备的情况下进行复杂的长期策略,例如扑克游戏。在口头报告中,我们分享了模型如何在不知道对手位置和可能移动的情况下玩两人游戏以取胜。
人工智能的前沿挑战
人类可以轻松学习、适应和理解周围的世界。开发能够以人类方式进行泛化的先进人工智能系统将有助于创建我们可以在日常生活中使用的人工智能工具,并应对新的挑战。
人工智能适应的一种方式是通过对新信息的快速更改来实现的。在口头报告中,我们研究了神经网络的可塑性以及在训练过程中如何丧失可塑性的方法以及防止丧失的方法。
我们还展示了通过研究在自然语言预测等数据源上元训练的神经网络,可以帮助解释大型语言模型中出现的上下文学习类型。
在口头报告中,我们介绍了一种在长期推理任务上表现更好的新型循环神经网络(RNNs),以实现这些模型在未来的潜力。
最后,在“分位点信用评估”中,我们提出了一种将运气与技能区分开的方法。通过建立行动、结果和外部因素之间更清晰的关系,人工智能可以更好地理解复杂的现实环境。
查看完整的Google DeepMind在ICML 2023的日程安排:https://deepmind.events/events/icml-2023