如何使用TensorFlow构建负责任的人工智能?
介绍
人工智能(AI)现在像从未有过的火爆,每周都有数百个新的AI应用程序、功能和平台发布。随着AI发展的速度,确保技术的安全性变得越来越重要。这就是负责任的AI的作用。负责任的AI是指遵循道德、透明度和问责制的可持续发展和使用AI系统。虽然所有的AI公司都有自己的规则和清单来确保这一点,但像TensorFlow和Microsoft这样的平台提供了一套工具,任何人都可以使用这些工具使他们的AI负责任。本文介绍了在每个机器学习模型部署阶段中使用的一些最基本的TensorFlow工具。
学习目标:
- 了解TensorFlow通过提供广泛的工具和资源为构建负责任的AI应用程序做出了贡献。
- 了解机器学习模型部署的不同阶段。
- 探索TensorFlow在机器学习模型部署过程的每个阶段提供的各种工具。
什么是负责任的AI?
负责任的AI是指在道德、透明、问责和可持续的前提下开发和使用人工智能(AI)系统,符合隐私、公平、安全和可持续等社会价值观。负责任的AI很重要,因为它确保了AI系统的设计和使用是为了造福整个社会,而不是造成伤害或延续偏见。
一些负责任的AI的关键原则包括透明度、问责制、公平、隐私、安全和可持续性。开发人员可以在AI系统的整个生命周期中应用这些原则,从设计和开发到部署和持续监控。
- 来自 Meta AI 和 Samsung 的研究人员介绍了两种新的 AI 方法,Prodigy 和 Resetting,用于学习速率适应,这些方法改进了现有最先进的 D-适应方法的适应速率
- 理解贝叶斯市场营销组合建模:先验规范的深入研究
- 相似性搜索,第五部分:局部敏感哈希(LSH)
今天我们将探讨如何使用TensorFlow构建负责任的AI应用程序。
TensorFlow及其对负责任的AI的贡献
TensorFlow是一个用于构建和部署机器学习模型的开源平台。由Google开发,TensorFlow提供各种工具和资源,可用于创建各种领域的AI应用程序,包括图像和语音识别、自然语言处理和预测分析。
由于它是开源的,透明度和可解释性是TensorFlow的两个关键组成部分。除此之外,该平台还发布了一组用于构建负责任的AI应用程序的工具和指南。让我们探索一下在各个机器学习模型部署阶段中使用的一些有用的工具。
阶段1:问题定义
TensorFlow在问题定义阶段提供了一组工具。PAIR(People + AI Research)指南和PAIR explorables可以在规划AI应用程序时帮助您。TensorFlow的指南包括选择数据集、选择模型和评估模型性能的策略。遵循这些指南可以确保您的AI应用程序准确、可靠和有效。
PAIR指南提供了关于设计符合用户需求和价值观的AI产品的全面指导。PAIR explorables是交互式博客,帮助设计师和开发人员探索与负责任的AI相关的复杂主题,例如机器学习算法和公平考虑。
阶段2:数据收集和准备
机器学习的第二阶段涉及数据收集和准备。TensorFlow提供了几个工具来促进这个阶段。
TensorFlow数据验证(TFDV)
TensorFlow提供的最有用的工具之一是TensorFlow数据验证(TFDV)。TFDV旨在识别训练和服务数据中的异常。它还可以通过检查数据自动创建架构。该组件可以配置为检测数据中的不同类别的异常。
TFDV通过将数据统计数据与用户期望的架构进行比较来执行有效性检查。这有助于用户确保他们的数据在用于训练或测试之前符合某些标准。此外,TFDV可以通过比较训练和服务数据中的示例来检测训练-服务偏差。这很重要,因为它确保模型是根据生产中遇到的数据进行训练的。
了解你的数据(KYD)
TensorFlow在这个阶段提供的另一个有用的工具是了解你的数据(KYD)。KYD提供了一个简单的界面,用于了解您的数据的结构和内容。它让用户快速探索和可视化他们的数据,以更好地了解其属性。这个工具最有趣的地方是它的交互式GUI。用户还可以根据其标签和各种属性在数据集中创建新的组。目前,这是Beta阶段。
阶段3:构建和训练
机器学习工作流的第三个阶段涉及构建和训练模型。在这个阶段,TensorFlow提供了许多使用隐私保护和可解释技术有效训练模型的工具。
TensorFlow Federated (TFF)
TensorFlow Federated (TFF)是一个设计用于分散数据上的机器学习的开源框架。这种机器学习方法称为联邦学习,它涉及在许多参与客户端之间训练共享全局模型,这些客户端保留其本地训练数据。TFF通过在多个设备上分发训练过程,实现更高效的训练同时保护数据隐私。
TensorFlow Lattice (TFL)
在TensorFlow中训练模型的另一个有用工具是TensorFlow Lattice (TFL)。该库实现了灵活、可控和可解释的基于格的模型。TFL可以通过将符合单调性、凸性和成对信任等约束的常识或策略驱动的形状约束纳入学习过程中,将领域知识添加到学习过程中。使用TFL,您可以构建准确且可解释的模型,使了解模型如何达到其预测变得更加容易。
第四阶段:模型评估
在模型评估的第四个阶段中,必须考虑多个因素来测试训练后的模型。这些因素包括隐私、公平、可解释性和安全性。TensorFlow提供了各种工具来评估给定模型的这些因素。
公平指标
公平指标是一个库,它方便地计算二元和多类分类器的常见公平度量。这个工具套件将模型在不同子组之间的性能与基线或其他模型进行比较。它还使用置信区间来展示显著的差异,并在多个阈值上执行评估。
What-If Tool (WIT)
使用WIT,可以直观地测试模型在各种输入变量变化时的性能变化。这允许测试AI模型在一组假设情况下的表现,这是这个工具的主要目标。
TensorFlow隐私测试
TensorFlow隐私测试是另一个库,它评估分类模型的隐私属性。它允许在将模型部署到实际应用程序之前评估模型的隐私属性。
第五阶段:部署和监控
一旦您的机器学习(ML)和人工智能(AI)模型准备就绪,下一步就是部署它。然而,将模型部署到生产环境中可能会导致影响其性能的意外问题。因此,必须在部署后监视模型的性能,以识别和解决潜在问题。
模型卡片工具包(MCT)
它是一个简化模型文档的库。模型卡片包含有关您构建的ML和AI模型的所有必要信息。这些信息可能包括训练方法、使用的数据集、数据收集方法等。使用MCT,生成模型卡片变得流畅和自动化,提供上下文和透明度,了解模型的开发和性能。
ML元数据(MLMD)
MLMD是另一个记录和检索与ML开发人员和数据科学家工作流相关的元数据的库。它是TensorFlow Extended(TFX)的一个重要组成部分,但也被设计为独立使用。每次生产ML管道的运行都会生成包含有关各种管道组件、它们的执行(例如训练运行)和生成的工件(例如训练模型)的信息的元数据。在出现任何意外的管道行为或错误的情况下,此元数据可以帮助分析管道组件的谱系,并调试问题。将此元数据视为软件开发中的日志记录的等效物。
结论
构建负责任的AI应用程序确保AI系统以道德和透明的方式进行设计和使用。TensorFlow是构建和部署机器学习模型的出色平台,为在各种领域创建负责任的AI应用程序提供了许多工具和资源。通过在整个AI系统的生命周期中遵循透明度、问责制、公平、隐私、安全和可持续性的原则,开发人员可以确保他们的模型使整个社会受益,同时最小化伤害并消除偏见。使用TensorFlow的问题定义、数据收集和准备、构建和训练、模型评估以及部署和监控一系列工具,开发人员可以获得他们所需的一切,创建负责任和有效的AI应用程序。
关键点:
- TensorFlow 借助问题定义、数据准备、训练、评估、部署和监控等工具,在图像和语音识别、自然语言处理和预测分析等领域实现了负责任的 AI。
- TensorFlow 的工具和指南促进透明、责任、公正、隐私、安全和可持续性的负责任 AI 开发,实现了有益于社会的有效应用。