学习如何评估AI系统的风险

探索如何评估AI系统的风险与挑战

人工智能（AI）是一个快速发展的领域，有潜力改善和转变社会的许多方面。到2023年，随着强大的基础模型（FM）的开发以及生成性AI能力的进一步推进，AI技术的采用速度进一步加快。

在亚马逊，我们推出了多个生成性AI服务，例如Amazon Bedrock和Amazon CodeWhisperer，并通过Amazon SageMaker JumpStart提供了一系列功能强大的生成模型。这些服务旨在支持我们的客户释放生成性AI的新能力，包括增强的创造力、个性化和动态内容创建以及创新设计。它们还能帮助AI从业人员如从未之前一样理解世界，解决语言障碍、应对气候变化、加速科学发现等等。

然而，要实现生成性AI的全部潜能，需要仔细思考潜在的风险。首要任务是促进AI系统的相关利益相关者推动负责任和安全的开发和部署，并鼓励采取积极措施应对潜在的影响。因此，建立评估和管理风险的机制是AI从业人员应考虑的重要过程，并已成为许多新兴AI行业标准（例如ISO 42001、ISO 23894和NIST RMF）以及法规（如EU AI Act）的核心组成部分。

在本文中，我们将讨论如何评估您的AI系统的潜在风险。

• 来自Meta AI的研究人员推出了Style Tailoring：一种用于微调潜在扩散模型（LDMs）在具有高视觉质量的不同领域中的文本到贴纸配方的研究
• 遇见 GPT Crawler：一个能够爬取网站并生成知识文件以便从一个或多个网址创建自定义 GPT 的 AI 工具
• 高斯混合模型（GMM）：从理论到实施

不同的风险级别是什么？

虽然初步研究可能更容易单独查看独立的机器学习（ML）模型及其相关风险，但重要的是要考虑特定应用的细节以及作为完整AI系统的一部分的对应用例。事实上，典型的AI系统很可能基于多个不同的ML模型共同工作，组织可能正在构建多个不同的AI系统。因此，风险可以针对每个用例评估，并且可以在不同的级别上进行评估，即模型风险、AI系统风险和企业风险。

企业风险涵盖组织可能面临的广泛风险，包括金融、运营和战略风险。AI系统风险侧重于AI系统的实施和运营所带来的影响，而ML模型风险则专注于ML模型固有的漏洞和不确定性。

在本文中，我们主要关注AI系统风险。然而，重要的是要注意考虑和协调组织内所有不同级别的风险管理。

AI系统风险如何定义？

在AI系统的背景下进行风险管理可以最小化不确定性或潜在的负面影响，并提供最大化积极影响的机会。风险本身并不是潜在的危害，而是不确定性对目标的影响。根据NIST Risk Management Framework（NIST RMF）的定义，风险可以被估计为发生事件的概率与相应事件的后果大小的乘积。

风险有两个方面：固有风险和剩余风险。固有风险代表在没有减轻措施或控制措施的情况下AI系统所具有的风险量。剩余风险则表示考虑了缓解策略后的剩余风险。

始终记住，风险评估是一项以人为中心的活动，需要整个组织的努力；这些努力范围从确保所有相关利益相关者参与到评估过程（如产品、工程、科学、销售和安全团队）到评估社会视角和规范对某些事件的可能性和后果产生的影响。

为什么您的组织应该关心风险评估？

为AI系统建立风险管理框架可以通过促进AI系统的安全和负责任的设计、开发和运营，造福整个社会。风险管理框架还可以通过以下方式使组织受益：

• 改善决策 – 通过了解与AI系统相关的风险，组织可以更好地决策如何减轻这些风险，并以安全和负责任的方式使用AI系统
• 增加合规规划 – 风险评估框架可以帮助组织为相关法律和法规中的风险评估要求做好准备
• 建立信任 – 通过表明他们正在采取措施减轻AI系统的风险，组织可以向客户和利益相关者表明他们致力于以安全和负责任的方式使用AI

如何评估风险？

作为第一步，组织应考虑描述需要评估的AI用例，并确定所有相关利益相关者。用例是描述用户如何与AI系统交互以实现特定目标的具体场景或情况。在创建用例描述时，可以明确解决的业务问题，列出涉及的利益相关者，描述工作流程，并提供有关系统的关键输入和输出的详细信息。

在涉及利益相关者时，很容易忽视一些人。以下图是绘制AI利益相关者角色的良好起点。

来源：“信息技术-人工智能-人工智能概念和术语”。

AI系统风险评估的重要下一步是确定与用例相关的潜在有害事件。在考虑这些事件时，可以反思负责任的AI的不同维度，例如公平性和鲁棒性。不同的利益相关者可能在不同维度上受到不同程度的影响。例如，对于最终用户来说，鲁棒性风险较低可能是由于AI系统显示出较小的干扰，而公平性风险较低可能是由于AI系统为不同人口群体产生了几乎相同的输出。

为了评估事件的风险，可以结合概率刻度和严重程度刻度使用一个可能性刻度，从而测量事件发生的概率以及后果的程度。在制定这些刻度时，一个有用的起点可以是NIST RMF，建议使用从非定量的非数字类别（从非常低风险到非常高风险）到半定量的评估原则，例如刻度（例如1-10）、存储箱或其他代表性数字。在为所有相关维度定义可能性和严重刻度之后，可以使用风险矩阵方案来量化每个相关维度的每个相关利益相关者的总体风险。以下图示例了一个风险矩阵。

使用这个风险矩阵，我们可以认为低严重度和罕见发生概率的事件是非常低风险的。请记住，最初的评估将是固有风险的估计，风险缓解策略可以帮助进一步降低风险水平。然后可以重复该过程，以生成任何剩余事件的风险评级。如果在同一维度上发现了多个事件，则选择所有事件中风险水平最高的事件可以帮助创建最终的评估摘要。

使用最终的评估摘要，组织将必须定义其AI系统可接受的风险水平，并考虑相关的法规和政策。

亚马逊云计算服务承诺

通过与白宫、联合国等机构合作，我们致力于分享我们的知识和专业技术，推动AI的负责任和安全使用。在这方面，亚马逊的Adam Selipsky最近代表AWS出席了AI安全峰会，与国家元首和行业领袖共同探讨了AI的负责任发展，进一步展示了我们对合作推动人工智能的负责任发展的承诺。

结论

随着人工智能的不断发展，风险评估对于希望负责任地构建和部署人工智能的组织来说变得越来越重要和有用。通过建立风险评估框架和风险缓解计划，组织可以降低潜在的与人工智能相关的事件风险，并赢得客户的信任，同时获得改善可靠性、为不同人群提供更公正的结果等多种好处。

立即开始您的组织风险评估框架的开发之旅，并在评论中分享您的想法。

还可以阅读亚马逊科技发布的生成式人工智能风险概述：生成时代的负责任人工智能，以及探索一系列能够支持您进行风险评估和缓解的AWS服务：Amazon SageMaker Clarify、Amazon SageMaker Model Monitor、AWS CloudTrail，以及模型治理框架。