谷歌研究中的负责任人工智能:感知公平性

Google Research's Responsible AI Perception of Fairness

由Google Research的感知公平团队共同领导Susanna Ricco和Utsav Prabhu发布

Google的负责任的AI研究建立在合作的基础上——团队之间具有不同背景和专业知识的合作,研究人员和产品开发人员之间的合作,最终与整个社区合作。感知公平团队通过将计算机视觉和机器学习(ML)公平性的深入专业知识与与谷歌及其他地方的感知系统的研究人员直接联系相结合,推动进展。我们共同努力,有意识地从根本上设计我们的系统,以在谷歌的产品以及其他领域中实现包容性,这是以谷歌的AI原则为指导的。

感知公平研究涵盖了包括支持谷歌产品的最新基础和生成模型在内的先进多模式模型的设计、开发和部署。

我们团队的使命是在多模式ML系统中推进公平和包容的前沿,特别是与基础模型和生成AI相关的前沿。这包括核心技术组件,包括分类、定位、字幕、检索、视觉问答、文本到图像或文本到视频生成以及生成图像和视频编辑。我们相信,在这些应用中,公平和包容应该成为首要的性能目标。我们的研究专注于解锁新颖的分析和缓解措施,使我们能够在开发周期中积极为这些目标进行设计。我们回答核心问题,例如:我们如何使用ML来负责任地和忠实地模拟人们对人口统计学、文化和社会身份的感知,以促进公平和包容?我们可以测量哪些系统偏差(例如,在某些肤色的人的图像上表现不佳),我们如何利用这些度量结果来设计更好的算法?我们如何构建更具包容性的算法和系统,并在发生故障时快速反应?

测量媒体中人们的表现

可以编辑、策划或创建图像或视频的ML系统会影响到暴露于其输出的任何人,塑造或强化全球观众的信念。减少表现危害的研究,例如强化刻板印象或贬低或抹消人群,需要对内容和社会环境有深入的了解。它取决于不同观察者如何感知自己、他们的社区,或者别人如何被呈现。在该领域中,关于应该用计算工具研究哪些社会类别以及如何负责任地进行研究存在很大的争议。我们的研究侧重于努力寻求可扩展的解决方案,这些解决方案受到社会学和社会心理学的启发,与人类感知保持一致,接受问题的主观性,并实现细致的测量和缓解。一个例子是我们在使用Monk肤色比例尺对图像中的肤色的人类感知和注释差异进行研究。

我们的工具还用于研究大规模内容集合中的表现。通过我们的媒体理解社会探索(MUSE)项目,我们与学术研究人员、非营利组织和主要消费品牌合作,了解主流媒体和广告内容中的模式。我们首次在2017年发表了这项工作,合著了一项关于好莱坞电影中性别平等的研究。自那时以来,我们已经扩大了我们的分析规模和深度。2019年,我们发布了基于超过270万条YouTube广告的调查结果。在最新的研究中,我们在超过十二年的热门美国电视节目中研究了在感知性别呈现、感知年龄和肤色的交叉领域中的表现。这些研究为内容创作者和广告商提供了洞察,并进一步指导我们自己的研究。

这是一个(非实际数据)的计算信号示例,可以在大规模上进行分析,以揭示媒体集合中的表现模式。[视频集合/盖蒂图片]

展望未来,我们正在扩大我们关注的机器学习公平性概念以及它们负责应用的领域。我们不仅仅关注人们的逼真照片,还致力于开发工具,模拟插图中社区和文化的表现,抽象人形角色的描绘,甚至没有人物的图像。最后,我们需要思考的不仅仅是所描绘的人物,还有他们的表现方式——通过周围图像内容、附带文本和更广泛的文化背景传达的叙事是什么。

分析感知系统的偏见特性

构建先进的机器学习系统是复杂的,多个利益相关者会基于各种标准来决定产品的行为。总体质量通常使用测试数据集上的汇总统计(如总体准确率)来定义和衡量,作为用户体验的代理。但并不是所有用户以相同的方式体验产品。

感知公平性使得我们能够实际测量超越汇总统计的细微系统行为,并将这些指标作为直接影响产品行为和发布决策的核心。这往往比看起来更困难。在不丢失重要细节的情况下,将复杂的偏见问题(如交叉子群体之间的性能差异或刻板印象强化的例子)简化为少量指标是极具挑战性的。另一个挑战是在公平指标和其他产品指标(如用户满意度、准确性、延迟)之间的相互作用的平衡,尽管它们常常被描述为冲突的,但实际上广泛的用户满意度与实现公平和包容目标是一致的。

我们在开放图像的一部分中构建并发布了MIAP数据集,利用我们对社会相关概念的感知和复杂系统中偏见行为的检测的研究成果,为计算机视觉中的机器学习公平性研究提供了资源。原始照片来源:左侧:波士顿公共图书馆;中间:jen robinson;右侧:Garin Fons;所有图片均在CC- BY 2.0许可下获得授权使用。

为了实现这些目标,我们的团队专注于两个广泛的研究方向。首先,我们将通用的公平性分析工具民主化,使合作伙伴组织能够将其纳入产品工作流程,并向公司各级领导解释结果。这项工作包括开发广泛的基准测试、策划广泛有用的高质量测试数据集和围绕切片分析和反事实测试等技术的工具,通常是基于前面描述的核心表示信号工作。其次,我们推进公平性分析的新方法,包括与可能产生突破性发现或为发布战略提供信息的产品工作合作。

负责任地推进人工智能

我们的工作不仅仅是分析模型的行为,而是与其他研究人员和产品团队的工程师合作,识别算法改进的切入点。在过去的一年里,我们推出了升级的组件,用于支持Google照片中的搜索和回忆功能,提高了系统的一致性性能,并通过增加层次防止错误在系统中蔓延。我们正在努力改进Google图像中的排序算法,以实现多样化的表现。我们更新了可能强化历史刻板印象的算法,负责地使用额外的信号,以使每个人更有可能在搜索结果中看到自己的影子并找到他们想要的内容。

这项工作自然延伸到生成型人工智能领域,其中模型可以根据图像和文本提示创建图像或视频集合,并能回答有关图像和视频的问题。我们对这些技术的潜力感到兴奋,它们可以为用户提供新的体验,并作为进一步研究的工具。为了实现这一目标,我们正在与研究和负责任的人工智能社区进行合作,制定能够减轻故障模式的防护措施。我们利用我们了解表示的工具来提供可扩展的基准测试,这些基准测试可以与人类反馈相结合,并投资于从预训练到部署的研究,引导模型生成更高质量、更具包容性和更可控的输出。我们希望这些模型能够激发人们,产生多样化的输出,不依赖于陈词滥调或刻板印象进行概念的翻译,并在反事实变化的提示中提供一致的行为和响应。

机会和正在进行的工作

尽管经过了十多年的专注工作,感知公平技术领域仍然显得像一个新兴且快速发展的空间,充满了突破性技术的机会。我们继续看到通过跨学科的学术研究来提供技术进步的机会。我们在图像中可以测量的内容与人类身份和表达的基本要素之间存在很大的差距,要弥补这个差距就需要越来越复杂的媒体分析解决方案。在适当的背景下,关注多元观点,指示真实代表性的数据指标仍然是一个我们面临的挑战。我们能否达到一个可靠地识别微妙刻板印象的程度,不断更新它们以反映一个不断变化的社会,并分辨出可能会引起冒犯的情况?通过人类反馈驱动的算法进步指向了一个有希望的前进道路。

近来,在现代大型模型开发的背景下,对AI安全和伦理的关注促使了对测量系统偏见的新思考方式。我们正在探索多种途径来利用这些模型以及最新的基于概念的可解释性方法、因果推论方法和尖端的用户体验研究,来量化和减少不希望出现的偏见行为。我们期待着迎接未来的挑战,开发面向所有人的技术。

致谢

我们要感谢感知公平团队的每个成员以及所有合作伙伴。