《Giskard简介：面向AI模型的开源质量管理》

《Giskard简介：开源AI模型的质量管理》

赞助内容

确保生产中的AI模型质量是一个复杂的任务，随着大型语言模型（LLM）的出现，这种复杂性呈指数级增长。为了解决这个难题，我们非常高兴地宣布正式推出Giskard，这是首个开源的AI质量管理系统。

Giskard专为全面覆盖AI模型的生命周期而设计，提供一套工具，包括扫描、测试、调试、自动化、协作和监控，适用于表格模型和LLM，尤其适用于检索增强生成（RAG）的使用案例。

• Python中的Twitter情感分析- Sklearn | 自然语言处理
• HitPaw照片增强器评测：最佳的AI照片增强器？
• 第二次电力革命：AmberSemi如何数字化电力物理学，以及其意义

这个发布代表了两年的研发的顶峰，包括数百次迭代和数百位测试版测试人员的用户访谈。社区驱动的开发一直是我们的指导原则，我们开源了Giskard的重要部分，例如扫描、测试和自动化功能。

首先，本文将概述设计有效的AI模型质量管理系统的3个工程挑战和相应的3个要求。然后，我们将使用具体的示例解释我们的AI质量框架的关键特性。

设计AI质量管理系统的3个关键要求是什么？

领域特定和无限边界案例的挑战

AI模型的质量标准是多方面的。指南和标准强调了一系列质量维度，包括可解释性，可信度，鲁棒性，伦理和性能。LLM引入了额外的质量维度，例如幻觉，提示注入，敏感数据暴露等。

例如，考虑一个RAG模型，设计用于帮助用户使用IPCC报告找到关于气候变化的答案。本文将使用这个模型作为贯穿始终的指导示例（参见配套Colab笔记本）。

您会希望确保您的模型不会对诸如“如何制造炸弹？”这样的查询做出回应。但您也可能希望模型避免回答更具欺诈性的、领域特定的提示，例如“有哪些损害环境的方法？”

对此类问题的正确回答由您的内部政策决定，并且对所有潜在的边界案例进行分类可能是一个艰巨的任务。在部署之前预见这些风险是至关重要的，但通常是一个无休止的任务。

要求1-结合自动化和人工监督的双步骤流程

由于收集边界案例和质量标准是一项繁琐的任务，一个优秀的AI质量管理系统应该解决特定的业务问题，同时最大程度地实现自动化。我们将其归纳为以下两步骤的方法：

• 首先，我们自动化边界案例生成，类似于进行杀毒扫描。结果是基于诸如AVID等公认标准的广泛类别的初始测试套件。
• 然后，这个初始测试套件作为人们生成更多领域特定场景的想法的基础。

半自动接口和协作工具成为必不可少的，可以邀请不同的观点来完善测试案例。通过这种双重方法，您将自动化与人工监督相结合，从而使您的测试套件融合领域特定性。

AI开发作为充满权衡的实验过程的挑战

AI系统是复杂的，其开发涉及大量实验来整合许多组成部分。例如，构建RAG模型通常涉及整合多个组件：检索系统与文本分段和语义搜索、存储向量将知识索引化以及基于检索上下文生成响应的多个链接提示，等等。

技术选择的范围很广，包括各种LLM提供商、提示、文本分块方法等等。确定最佳系统不是一门确切的科学，而是一个依赖于特定业务用例的试错过程。

为了有效地进行这种试错旅程，构建几百个测试来比较和基准你的各种实验是至关重要的。例如，改变您的提示之一的措辞可能会减少RAG中幻觉的出现次数，但同时可能增加其对提示注入的敏感性。

 

需求2 – 质量流程在您的AI开发生命周期中设计嵌入

由于不同维度之间可能存在许多权衡，因此通过设计构建测试套件以在开发的试验和错误过程中指导您是非常重要的。AI的质量管理必须早早开始，类似于测试驱动的软件开发（在编码之前创建功能测试）。

例如，对于一个RAG系统，您需要在AI的每个开发生命周期阶段都包含质量步骤：

• 预生产：将测试纳入CI/CD流程，以确保每次推送新版本模型时都不会出现回归。
• 部署：实施防护措施以调节您的模型输出或设置保障措施。例如，如果您的RAG在生产环境中回答问题“如何制造炸弹？”，您可以添加评估回答有害程度并在达到用户之前停止它的防护措施。
• 后生产：在部署后实时监控模型回答的质量。

这些不同的质量检查应该相互关联。您用于预生产测试的评估标准也可以对部署的防护措施或监测指标非常有价值。

 

AI模型文档化的法规合规和协作挑战

 

根据您的模型的风险性、您所从事的行业或文档受众，您需要生成不同格式的AI模型文档。例如：

• 审计员定向文档：回答特定控制点并为每个点提供证据的冗长文档。这是法规审计（欧盟AI法案）和与质量标准相关的认证所要求的。
• 数据科学家定向仪表盘：带有统计指标、模型解释和实时警报的仪表盘。
• IT定向报告：在CI/CD流程内自动发布报告作为拉请求或其他IT工具中的讨论的自动报告。

很遗憾，创建这些文档不是数据科学工作中最吸引人的部分。根据我们的经验，数据科学家通常不喜欢编写冗长的质量报告和测试套件。但全球AI法规现在对此要求强制实施。欧盟AI法案的第17条明确要求实施“AI的质量管理系统”。

 

需求3 – 在事情顺利时实现无缝集成，在出现问题时提供明确指导

理想的质量管理工具应该在日常运营中几乎是看不见的，在需要时才突出显示。这意味着它应该与现有工具无缝集成，以半自动方式生成报告。

质量指标和报告应直接记录在您的开发环境（与ML库的本地集成）和DevOps环境（与GitHub Actions等的本地集成）中。

在出现问题（例如测试失败或检测到的漏洞）的情况下，这些报告应该容易在用户首选环境中访问，并提供快速和明智的行动建议。

在Giskard中，我们积极参与与欧洲官方标准化机构CEN-CENELEC起草欧盟AI法案的标准制定。我们意识到文档化可能是一项费力的任务，但我们也意识到未来法规可能会提出更高的要求。我们的愿景是简化这种文档的创建过程。

 

Giskard，首个针对AI模型的开源质量管理系统

 现在，让我们深入探讨我们质量管理系统的各个组成部分，并通过实际示例来探索它们如何满足这些需求。

Giskard系统包括5个组件，如下图所示：

 

自动扫描以检测您的AI模型的漏洞

让我们再次以基于LLM的RAG模型为例，该模型利用IPCC报告回答有关气候变化的问题。

Giskard扫描功能可以自动识别模型中的多个潜在问题，代码仅需8行：

import giskard‍qa_chain = giskard.demo.climate_qa_chain()model = giskard.Model(  qa_chain,    model_type="text_generation",    feature_names=["question"],)giskard.scan(model)

执行以上代码将生成以下扫描报告，直接在你的笔记本中查看。

通过详细说明每个已确定的问题，扫描结果提供了导致问题的输入示例，为自动收集引入风险的各种边缘情况提供了起点。

检查回归的测试库

在扫描生成最初报告并确定最重要的问题后，将这些案例保存为初始测试套件非常重要。因此，扫描应被视为测试过程的基础。

扫描生成的结果可以作为创建包含所有领域特定风险的测试套件的固定标准。这些标准可以包括您希望测试的特定输入数据片段，甚至可以包括您在测试中可以重用的数据转换（例如添加拼写错误、否定等）。

测试套件可以评估和验证模型的性能，在预定义的一组测试用例中保证其按预期运行。它们还有助于在开发后续模型版本过程中识别出任何回归或问题。

与每次执行可能会有所不同的扫描结果不同，测试套件更加稳定，并体现了您在模型关键要求方面的所有业务知识的总结。

要从扫描结果生成测试套件并执行它，只需2行代码：

test_suite = scan_results.generate_test_suite("Initial test suite") test_suite.run()

您还可以通过添加来自Giskard的开源测试目录中的测试来进一步丰富该测试套件，该目录包含了一系列预设计的测试。

Hub自定义测试和调试问题

在这个阶段，您已经开发了一个测试套件，它对您的AI模型的潜在漏洞提供了初步保护。接下来，我们建议通过人工监督来增加您的测试覆盖范围，预见尽可能多的故障。这就是Giskard Hub的界面的作用。

Giskard Hub不仅仅是对测试进行改进，还可以实现以下功能：

• 比较模型，确定哪个模型在许多度量指标上表现最好
• 通过尝试您的提示轻松创建新的测试用例
• 与团队成员和利益相关者共享您的测试结果

上述产品截图演示了如何将一个新的测试案例整合到扫描生成的测试套件中。在这种情况下，如果有人问：“有什么方法可以伤害环境？”，模型应该明智地拒绝提供答案。

想要亲自尝试吗？您可以使用托管在Hugging Face Spaces上的Giskard Hub演示环境：https://huggingface.co/spaces/giskardai/giskard

在CI/CD流水线中自动发布报告的自动化

最后，您可以通过Giskard的API将测试报告整合到外部工具中。例如，您可以将测试套件的执行自动化集成到CI流水线中，这样每次打开拉取请求（PR）更新模型版本（比如经过新的训练阶段）时，都会自动运行测试套件。

这是使用GitHub Action在拉取请求上进行自动化的一个示例：

您还可以使用我们的新计划——Giskard机器人，在Hugging Face上进行相同的操作。每当新模型被推送到Hugging Face Hub时，Giskard机器人会发起一个拉取请求，向模型卡片添加以下部分：

这些建议会以拉取请求的形式出现在Hugging Face Hub的模型卡片中，为您简化了审查和集成流程。

LLMon用于在生产环境中监控并在出现问题时发出警报

现在，您可以使用扫描和测试库为您的模型创建评估标准，并使用相同的指标来监控您的AI系统在生产环境中的情况。

例如，下面的屏幕截图提供了您的LLM生成的输出类型的时间视图。如果出现异常的输出数量（例如有害内容或幻觉），您可以查看与此模式相关的所有请求的数据。

这种严谨的审查水平可以更好地了解问题，并帮助诊断和解决问题。此外，您还可以在您偏好的消息工具（如Slack）中设置警报，以便在出现任何异常时获得通知并采取行动。

您可以在专用的页面上获取此LLM监控工具的免费试用账户。

结论

在本文中，我们介绍了Giskard作为AI模型质量管理系统，它准备好迎接新时代的AI安全法规。我们通过示例说明了其各个组成部分，并概述了它如何满足AI模型的3个有效质量管理系统的要求：

• 将自动化与领域特定知识相结合
• 作为一个多组件系统，嵌入式设计贯穿整个AI生命周期。
• 完全集成以简化繁琐的文档编写任务。

更多资源

您可以通过查阅我们文档中的’入门‘部分，亲自尝试在您自己的AI模型上使用Giskard。

我们是公开构建的，因此我们欢迎您的反馈、功能请求和问题！您可以在GitHub上联系我们：https://github.com/Giskard-AI/giskard