CMU、AI2和华盛顿大学的研究小组推出了NLPositionality:一种用于表征设计偏见和量化NLP数据集和模型定位性的AI框架

CMU、AI2和华盛顿大学的研究小组推出了NLPositionality:一种AI框架,用于表征设计偏见、量化NLP数据集和模型定位性

研究人员的立场性——由他们自己的经验、身份、文化和背景形成的观点——在开发自然语言处理(NLP)数据集和模型时影响着他们的设计决策。

潜在的设计选择和研究人员的立场性是产生数据集和模型设计偏见的两个来源。这导致了数据集和模型在不同人群中的功能差异。然而,通过将一个群体的标准强加给世界其他地方,他们可以帮助维持系统性的不公平。困难在于必须做出各种各样的设计决策,而在构建数据集和模型时只记录其中的一部分决策。此外,许多广泛使用的模型在生产中不会暴露在API之外,这使得直接表征设计偏见变得困难。

华盛顿大学、卡内基梅隆大学和Allen AI研究所最近的研究提出了NLPositionality,这是一种描述自然语言处理(NLP)数据集和模型的位置性和设计偏见的范式。研究人员从不同的文化和语言背景中招募了一个全球志愿者社区来注释数据集样本。接下来,他们通过对比不同的身份和上下文来衡量设计中的偏见,看哪些更符合原始数据集标签或模型预测。

NLPositionality相比其他方法(如付费众包或实验室实验)有三个优点:

  1. 与其他众包平台和传统实验室研究相比,LabintheWild拥有更多样化的参与者人群。
  2. 该方法不依赖于货币酬劳,而是依赖于参与者扩展自我意识的内在渴望。与付费众包平台相比,参与者的学习可能性增加,数据质量得到改善。因此,与其他研究中的一次性付费研究不同,该平台可以自由收集新的注释,并在更长时间内反映设计偏见的最新观察。
  3. 该方法不需要对任何数据集或模型进行事后预测或应用任何预先存在的标签。

研究人员在两个已知存在设计偏见的NLP任务示例上使用NLPositionality:社交可接受性和仇恨言论检测。他们观察了特定任务和通用任务的大型语言模型(如GPT-4)以及相关的数据集和监督模型。截至2023年5月25日,平均每天有来自87个国家的1,096名注释者贡献了每天38个注释,共计16,299个注释。团队发现,白人、接受过大学教育的千禧一代来自英语国家的人群——“WEIRD”(Western, Educated, Industrialized, Rich, Democratic)人群的一个子集——最适合他们所研究的数据集和模型。他们的研究结果强调了从广泛来源收集数据和注释的必要性。