诺拉·彼得洛娃,Prolific的机器学习工程师和人工智能顾问-访谈系列
诺拉·彼得洛娃:机器学习工程师和人工智能顾问的多产专家-访谈系列
努拉·佩特洛娃(Nora Petrova)是机器学习工程师和AI顾问,目前就职于Prolific。Prolific成立于2014年,已经拥有包括谷歌、斯坦福大学、牛津大学、伦敦国王学院和欧洲委员会在内的一些组织作为其客户,利用其参与者网络测试新产品,在眼动跟踪等领域训练AI系统,并确定其面向人类的AI应用是否按照创建者的意图运行。
您能分享一下您在Prolific的背景和职业生涯吗?是什么让您对AI产生了兴趣?
我在Prolific的角色既包括就AI用例和机会提供建议,也包括做一名更为实际的ML工程师。我开始从事软件工程职业,逐渐过渡到机器学习。在过去的5年里,我大部分时间都集中在自然语言处理的用例和问题上。
最初让我对AI产生兴趣的是它能够从数据中学习以及与我们作为人类的学习和我们的大脑结构之间的联系。我认为机器学习和神经科学可以相互补充,帮助我们进一步了解如何构建能够在世界中导航、展现创造力并为社会增加价值的AI系统。
您个人意识到的一些最大的AI偏见问题是什么?
偏见在我们向AI模型输入的数据中是固有的,要完全消除它非常困难。然而,在我们把模型委托于重要的社会任务之前,我们必须意识到数据中存在的偏见,并找到减轻有害的偏见的方法。我们现在面临的最大问题是模型延续了社会中的有害刻板印象、系统性偏见和不公正。我们应该意识到这些AI模型将如何被使用以及它们对用户的影响,并确保在将它们用于敏感用例之前,它们是安全的。
AI模型展示有害偏见的一些明显领域包括在学校和大学招生中歧视代表不足群体,以及性别刻板印象对招聘女性的负面影响。此外,在美国,一种刑事司法算法发现将非裔美国被告误标为“高风险”的比率几乎是将白人被告误标为“高风险”的两倍,而面部识别技术由于缺少代表性训练数据仍存在较高的辨识错误率。
上述示例只涵盖了AI模型所展示的偏见的一小部分,如果我们不注意减轻偏见,我们可以预见未来会出现更大的问题。重要的是要记住,AI模型是从包含这些偏见的数据中学习的,这是由于受到未经检查和无意识偏见影响的人类决策产生的。在许多情况下,将决策权交给人类决策者可能不会消除偏见。真正减轻偏见将涉及了解它们存在于我们用于训练模型的数据中的方式,分离导致偏见预测的因素,并共同决定我们希望基于哪些要素做出重要决策。制定一套标准,以便在将模型用于敏感用例之前评估其安全性,将是向前迈出的重要一步。
AI幻觉是任何类型生成AI都面临的一个大问题。您能谈一谈人与AI协同(HITL)训练如何减轻这些问题吗?
AI模型中的幻觉问题在生成AI的特定用例中是有问题的,但值得注意的是,它们本身并不是问题。在某些创造性使用生成AI的情况下,幻觉是受欢迎的,有助于产生更富创造力和有趣的响应。
在依赖事实信息的高度的用例中它们可能是有问题的。例如,在健康领域,坚实的决策对于向医疗专业人员提供可靠的事实信息至关重要。
HITL指的是允许人类对模型进行直接反馈的系统,当预测低于一定置信水平时。在幻觉的情景下,HITL可用于帮助模型学习在不同用例中输出响应前应该具有的确定性水平。这些阈值将根据用例而异,教导模型学习在回答基于具有许多条款和条件的复杂法律文件的问题时需要不同严谨性的差异将是减轻问题性幻觉的关键一步。例如,在法律用例中,人们可以向AI模型证明,在回答基于复杂法律文件的问题时,事实核实是必要的步骤。
AI工作人员(如数据标注员)如何帮助减少潜在的偏见问题?
AI工作人员首先可以帮助识别数据中存在的偏见。一旦偏见被识别出来,就更容易制定缓解策略。数据标注员还可以帮助找到减少偏见的方法。例如,对于自然语言处理任务,他们可以提供对问题文本的替代方式,从而减少语言中的偏见。此外,AI工作人员的多样性可以帮助减轻标签偏见的问题。
如何确保AI工作人员不会意外地将自己的人类偏见输入到AI系统中?
这确实是一个复杂的问题,需要仔细考虑。消除人类偏见几乎是不可能的,AI工作人员可能会无意间将自己的偏见输入到AI模型中,因此关键是制定指导工作人员遵循最佳实践的流程。
降低人类偏见的最小化可采取的一些步骤包括:
- 对AI工作人员进行全面培训,教会他们对无意识偏见进行意识,并提供工具来辨识和管理他们自己在标注过程中的偏见。
- 提供检查清单,提醒AI工作人员在提交答案前验证自己的回答。
- 进行评估,检查AI工作人员的理解水平,向他们展示不同类型偏见的示例回答,要求他们选择最少偏见的回答。
全球各国监管机构都打算监管AI的输出结果,您认为监管机构对此的误解是什么,而他们又做对了什么?
首先,要认识到这个问题非常困难,目前还没有找到解决方案。社会和AI系统将以相互影响的方式共同发展,这种影响是非常难以预料的。为了找到稳健有效的监管实践,我们需要关注AI的发展,人们对其的反应以及它对不同行业的影响。
我认为有效监管AI的一个重要障碍是缺乏对AI模型的实际能力和工作原理的理解。这反过来又使得准确预测这些模型对不同领域和社会各个层面的影响变得更加困难。另一个问题是如何将AI模型与人类价值观对齐以及何为更具体的安全性,这方面的思想领袖也比较缺乏。
监管机构已经寻求与AI领域的专家合作,小心谨慎地不通过过于严格的规定来扼杀创新,并开始考虑AI对就业的影响,这些都是非常重要的关注领域。随着时间的推移,我们对AI监管的思考变得更加明确,为了以民主方式解决这个问题,尽可能多地涉及不同人士非常重要。
Prolific解决方案如何协助企业减少AI偏见及其他讨论中提到的问题?
对于AI项目的数据收集过程并不总是经过深思熟虑的。我们之前看到过大量的数据抓取、外包等方法。然而,训练AI所使用的数据是至关重要的,下一代模型需要建立在经过有意收集的高质量数据上,这些数据来自真实人士和直接联系的人。这正是Prolific所做的。
其他领域,如民意调查、市场研究或科学研究早就认识到样本的选择对结果有很大影响。AI正在逐渐赶上,现在我们正面临一个十字路口。
现在是开始关心使用更好样本和与更具代表性的群体进行AI训练和优化的时候了。这两者对于开发安全、无偏见且对齐的模型至关重要。
Prolific可以帮助企业以安全方式进行AI实验,并收集来自参与者的数据,同时对其中的偏见进行检查和减轻。我们可以提供有关数据收集的最佳实践指导,以及对参与者的选择、补偿和公平待遇。
您对AI透明度有何看法,用户是否应该能够看到AI算法所训练的数据?
我认为透明度有利有弊,现在尚未找到一个恰当的平衡点。公司由于害怕诉讼而对用于训练AI模型的数据保持保密。其他公司则致力于公开其AI模型,并公开所有有关所使用数据的信息。完全透明会为利用这些模型的漏洞创造很多机会,而完全保密并不能建立信任和促进社会参与构建安全AI。一个好的折中方式是提供足够的透明度,让我们相信AI模型是在我们愿意共享的高质量、相关数据上进行训练的。我们需要密切关注AI对不同行业的影响,并与受影响的各方展开对话,确保我们制定的实践适用于所有人。
我认为考虑用户对可解释性的需求也是非常重要的。如果他们想要了解为什么模型会产生某种回应,给他们模型所训练的原始数据可能并不能帮助他们回答这个问题。因此,构建良好的解释性和可解释性工具非常重要。
AI对齐研究旨在将AI系统引导到人类期望的目标、偏好或道德原则上。你能否谈谈AI工作者是如何接受培训,以确保AI尽可能地与这些目标保持一致?
这是一个正在积极研究的领域,目前还没有关于我们应该采用哪些策略来使AI模型与人类价值保持一致,甚至需要将它们与哪一套价值观保持一致的共识。
通常要求AI工作者真实代表他们的偏好,并在回答有关偏好的问题时诚实回答,同时遵守安全、无偏见、无害和有帮助性的原则。
关于目标、道德原则或价值观的对齐,有多种看起来很有希望的方法。其中一个值得注意的例子是The Meaning Alignment Institute关于“民主微调”的工作。这里有一篇很棒的文章介绍了这个想法。
感谢这次精彩的采访,并分享您对AI偏见的观点。希望想了解更多的读者可以访问Prolific。