在Amazon SageMaker Studio中使用Amazon SageMaker JumpStart的专有基础模型

Amazon SageMaker JumpStart 是一个机器学习（ML）中心，可以帮助您加速 ML 之旅。借助 SageMaker JumpStart，您可以发现并部署公开可用和专有基础模型到专用的 Amazon SageMaker 实例，用于您的生成式 AI 应用程序。SageMaker JumpStart 允许您从网络隔离的环境中部署基础模型，并且不与模型提供者共享客户的训练和推理数据。

在本文中，我们将介绍如何从 Amazon SageMaker Studio 开始使用来自 AI21、Cohere 和 LightOn 等模型提供者的专有模型。SageMaker Studio 是一个笔记本环境，SageMaker 企业数据科学家客户可以在其中评估和构建下一代生成式 AI 应用程序的模型。

SageMaker 中的基础模型

基础模型是包含数十亿个参数并在数千兆字节的文本和图像数据上进行预训练的大规模 ML 模型，因此您可以执行各种任务，例如文章摘要和文本、图像或视频生成。由于基础模型是预先训练的，因此它们可以帮助降低训练和基础设施成本，并为您的用例启用定制。

SageMaker JumpStart 提供两种类型的基础模型：

专有模型– 这些模型来自 AI21 的 Jurassic-2 模型、Cohere 的 Cohere Command 和 LightOn 的 Mini，这些模型是基于专有算法和数据进行训练的。您无法查看模型工件（如权重和脚本），但仍可以部署到 SageMaker 实例进行推理。
公开可用模型– 这些模型来自流行的模型中心，例如 Hugging Face 的 Stable Diffusion、Falcon 和 FLAN，这些模型是基于公开可用的算法和数据进行训练的。对于这些模型，用户可以访问模型工件，并能够在部署用于推理之前使用自己的数据进行微调。

发现模型

您可以通过 SageMaker JumpStart 在 SageMaker Studio UI 和 SageMaker Python SDK 中访问基础模型。在本节中，我们将介绍如何在 SageMaker Studio UI 中发现模型。

SageMaker Studio 是一个基于 Web 的集成开发环境（IDE），用于 ML，可让您构建、训练、调试、部署和监视 ML 模型。有关如何入门和设置 SageMaker Studio 的详细信息，请参见 Amazon SageMaker Studio。

一旦您进入 SageMaker Studio UI，就可以访问 SageMaker JumpStart，该中心包含预训练模型、笔记本和预构建解决方案，位于预构建和自动化解决方案下。

从 SageMaker JumpStart 登录页面，您可以浏览解决方案、模型、笔记本和其他资源。下面的屏幕截图显示了一个具有列出解决方案和基础模型的示例登录页面。

每个模型都有一个模型卡片，如下面的屏幕截图所示，其中包含模型名称、是否可以微调、提供者名称以及有关模型的简短说明。您还可以打开模型卡片以了解有关模型的更多信息并开始训练或部署。

SageMaker JumpStart 中的专有模型由 AI21、Cohere 和 LightOn 等模型提供者发布。您可以通过模型卡片上的“专有”标签识别专有模型，如下面的屏幕截图所示。

您可以在模型卡上选择查看笔记本电脑以只读模式打开笔记本电脑，如下图所示。您可以阅读笔记本电脑以获取有关先决条件和其他使用说明的重要信息。

导入笔记本电脑后，在运行代码之前，您需要选择适当的笔记本电脑环境（图像、内核、实例类型等）。您还应根据所选笔记本电子订阅和使用说明。

在使用专有模型之前，您需要先从AWS Marketplace订阅模型：

打开AWS Marketplace中的模型列表页面。

URL在笔记本电脑的重要部分中提供，或者您可以从SageMaker JumpStart服务页面访问它。列表页面显示有关模型的概述、定价、使用和支持信息。

在AWS Marketplace列表上，选择继续订阅。

如果您没有查看或订阅模型的必要权限，请联系您的IT管理员或采购联系人为您订阅模型。许多企业可能会限制AWS Marketplace权限，以控制拥有这些权限的人在AWS Marketplace管理门户中可以执行的操作。

在订阅此软件页面上，查看详细信息，如果您和您的组织同意EULA、定价和支持条款，则选择接受报价。

如果您有任何问题或批量折扣请求，请通过详细页面提供的支持电子邮件直接联系模型提供商，或联系您的AWS账户团队。

选择继续配置并选择一个区域。

您将看到显示的产品ARN。这是您需要在使用Boto3创建可部署模型时指定的模型软件包ARN。

复制与您的区域对应的ARN，并在笔记本电子的单元格指令中指定相同的内容。

使用示例提示进行示例推理

让我们来看一些从SageMaker JumpStart中的A21 Labs、Cohere和LightOn提供的示例基础模型。它们都有相同的指示，可以从AWS Marketplace订阅并导入和配置笔记本电脑。

AI21总结

A121 Labs的总结模型将冗长的文本缩短为易于阅读的简短文本，保持与源的事实一致。该模型经过训练，可以生成根据文本体系的关键思想的摘要。它不需要任何提示。您只需输入需要总结的文本。您的源文本可以包含多达50,000个字符，相当于大约10,000个单词或40页。

AI21总结模型的示例笔记本电脑提供了需要遵循的重要先决条件。例如，该模型已从AWS Marketplace订阅，具有适当的IAM角色权限和所需的boto3版本等。它将指导您如何选择模型软件包、创建实时推理的端点，然后清理。

所选的模型包含ARN到区域的映射。这是在AWS Marketplace订阅页面（在在Marketplace中评估和订阅一节中）选择继续配置后捕获的信息，然后选择一个区域，您将看到相应的产品ARN。

笔记本电脑可能已经有ARN预填。

然后您导入一些运行此笔记本所需的库并安装维基百科，这是一个使得从维基百科访问和解析数据变得容易的Python库。笔记本稍后使用这个库来展示如何从维基百科中总结一个长文本。

笔记本还继续安装ai21 Python SDK，这是一个围绕SageMaker API的包装器，例如deploy和invoke endpoint。

笔记本的接下来几个单元格将执行以下步骤：

选择区域并从模型包映射中获取模型包ARN
通过选择实例类型（根据您的用例和模型支持的实例；有关更多详细信息，请参见任务特定模型）为模型运行创建您的推断端点
从模型包创建可部署模型

让我们运行推断以生成从新闻文章中提取的单个段落的摘要。正如您在输出中看到的那样，模型将总结文本呈现为输出。

AI21 Summarize可以处理长达50,000个字符的输入。这相当于大约10,000个单词或40页。作为模型行为演示，我们加载了一张来自维基百科的页面。

现在，您已经执行了用于测试的实时推断，可能不再需要端点。您可以删除端点以避免被收费。

Cohere Command

Cohere Command是一个生成模型，对类似于指令的提示有很好的响应。该模型为企业和企业提供了所有生成任务中最好的质量、性能和准确性。您可以使用Cohere的Command模型来激发您的文案编写、命名实体识别、改写或总结工作，并将其提升到一个新的水平。

Cohere Command模型的示例笔记本提供了需要遵循的重要先决条件。例如，该模型是从AWS Marketplace订阅的，具有适当的IAM角色权限和所需的boto3版本等。它将指导您如何选择模型包、为实时推断创建端点，然后清理。

一些任务与之前的笔记本示例中涉及的任务相似，例如安装Boto3、安装cohere-sagemaker（该包提供了开发的功能，以简化与Cohere模型的交互）以及获取会话和区域。

让我们来探索创建端点。您需要提供模型包ARN、端点名称、要使用的实例类型和实例数量。一旦创建，端点将显示在SageMaker的端点部分中。

现在让我们运行推断，以查看Command模型的一些输出结果。

以下截图显示了从给定提示生成工作岗位及其输出的示例示例。正如您所看到的，该模型从给定的提示生成了一个岗位。

现在让我们来看看以下示例：

生成产品描述
生成博客文章的正文段落
生成外联电子邮件

正如您所看到的，Cohere Command模型为各种生成任务生成了文本。

现在，您已经执行了用于测试的实时推断，您可能不再需要端点。您可以删除端点以避免产生费用。

LightOn Mini-instruct

Mini-instruct是由LightOn创建的具有400亿亿个参数的AI模型，是一种强大的多语言AI系统，使用来自众多来源的高质量数据进行训练。它被构建为理解自然语言并对特定于您需求的命令做出反应。它在消费品中表现出色，例如语音助手、聊天机器人和智能电器。它还具有广泛的商业应用，包括代理辅助和自动化客户关怀的自然语言生成。

LightOn Mini-instruct模型的示例笔记本提供了需要遵循的重要先决条件。例如，该模型是从AWS Marketplace订阅的，具有适当的IAM角色权限和所需的boto3版本等。它将指导您如何选择模型包、为实时推断创建端点，然后清理。

一些任务与之前的笔记本示例中涉及的任务相似，例如安装Boto3和获取会话区域。

让我们来看看创建端点。首先，提供模型包ARN、端点名称、要使用的实例类型和实例数量。一旦创建，端点将显示在SageMaker的端点部分中。

现在让我们尝试通过询问模型生成关于一个主题（在这个例子中是水彩）的文章想法列表来推断模型。

如您所见，LightOn Mini-instruct模型能够根据给定的提示提供生成的文本。

清理

在为示例专有Foundation Models测试模型并创建上述端点后，请确保删除SageMaker推理端点并删除模型，以避免产生费用。

结论

在本文中，我们向您展示了如何在SageMaker Studio中使用来自AI21、Cohere和LightOn等模型提供者的专有模型。客户可以在SageMaker JumpStart中从Studio、SageMaker SDK和SageMaker控制台中发现和使用专有Foundation Models。通过这种方式，他们可以访问包含数十亿个参数的大规模ML模型，并在TB级文本和图像数据上进行预训练，以便客户可以执行各种任务，如文章摘要和文本、图像或视频生成。由于基础模型是预训练的，它们还可以帮助降低培训和基础设施成本，并为您的用例启用自定义。

在Amazon SageMaker Studio中使用Amazon SageMaker JumpStart的专有基础模型

SageMaker 中的基础模型

发现模型