新的技术深入课程:AWS上的生成式人工智能基础

AWS上的生成式人工智能基础

Generative AI基础课程是一门全新的技术深入剖析课程,它为您提供了概念基础、实用建议和实践指导,以在AWS及其他平台上进行预训练、微调和部署最先进的基础模型。由AWS生成AI全球基础负责人Emily Webber开发,这门免费的实践课程和支持的GitHub源代码通过AWS Youtube发布。如果您正在寻找一个精选的资源、概念和指导的播放列表,以便快速了解基础模型,特别是那些在数据科学和机器学习项目中释放生成能力的模型,那么就不用再找了。

在这个为期8小时的深入剖析中,您将介绍一些关键技术、服务和趋势,帮助您从基础开始全面了解基础模型。这意味着将理论、数学和抽象概念进行拆解,并结合实践练习,以获得对实际应用的功能直觉。在整个课程中,我们关注一系列日益复杂的生成AI技术,为您提供一个强大的基础,以理解、设计和应用自己的模型,以获得最佳性能。我们将从回顾基础模型开始,了解它们的来源、工作原理、与生成AI的关系以及您可以定制它们的内容。然后,您将学习如何选择适合您的用例的基础模型。

一旦您对基础模型及其使用有了深入的理解,您将被介绍到本课程的核心主题:预训练新的基础模型。您将了解为什么要这样做,以及如何以及在哪里进行竞争。您甚至将学习如何使用缩放定律来选择合适的模型、数据集和计算大小。我们将介绍如何在AWS上大规模准备训练数据集,包括选择合适的实例和存储技术。我们将讨论微调基础模型、评估最新技术,并了解如何在脚本和模型中运行它们。我们将深入探讨强化学习与人类反馈,探索如何巧妙地并大规模地使用它来真正最大化基础模型的性能。

最后,您将学习如何将理论应用于生产,通过在Amazon SageMaker上部署您的新基础模型,包括在多个GPU上和使用检索增强生成和链式对话等顶级设计模式。作为额外的奖励,我们将详细介绍Stable Diffusion,并提供提示工程最佳实践,搭建LangChain等等。

更喜欢阅读而不是观看视频?您可以查看我的15章图书《Python中的预训练视觉和大型语言模型:在AWS上构建和部署基础模型的端到端技术》,该书于2023年5月31日由Packt出版,并已在亚马逊上发售。想直接跳转到代码吗?我和您一样-每个视频都以45分钟的关键概念和可视化概述开始。然后,我将为您提供15分钟的实践部分演示。所有示例笔记本和支持代码将在一个公共存储库中提供,您可以使用它来自行步骤进行。随时通过VoAGI、LinkedIn、GitHub或AWS团队与我联系。了解更多有关在AWS上的生成AI。

祝您学习愉快!

课程大纲

1. 基础模型介绍

  • 什么是大型语言模型以及它们是如何工作的?
  • 它们从哪里来?
  • 其他类型的生成AI有哪些?
  • 如何定制基础模型?
  • 如何评估生成模型?
  • 基于SageMaker的基础模型实践演示

第1课幻灯片

第1课实践演示资源

2. 选择合适的基础模型

  • 为什么选择合适的基础模型很重要
  • 考虑大小
  • 考虑准确性
    • 考虑易用性
  • 考虑许可证
  • 考虑此模型在您行业内的先前成功示例
    • 考虑外部基准

第2课幻灯片

第2课实践演示资源

3. 使用预训练的基础模型:提示工程和微调

  • 使用预训练的基础模型的好处
  • 提示工程:
    • 零-shot
    • 单-shot
    • 少-shot
    • 摘要
      • 分类
    • 翻译
  • 微调
    • 经典微调
    • 参数高效微调
    • Hugging Face的新库
    • 实践演练:使用SageMaker进行提示工程和微调

第3课幻灯片

第3课实践演示资源

4. 预训练一个新的基础模型

  • 为什么需要创建一个新的基础模型?
    • 将预训练与微调进行比较
  • 准备用于预训练的数据集
  • SageMaker上的分布式训练:库、脚本、作业、资源
  • 为什么以及如何将新的脚本适应SageMaker的分布式训练

第4课幻灯片

第4课实践演示资源

5. 准备数据和大规模训练

  • 在AWS上大规模准备数据的选项
  • 解释CPU实例上的SageMaker作业并行性
  • 解释将数据发送到SageMaker Training的方式
  • 介绍FSx for Lustre
  • 使用FSx for Lustre进行SageMaker Training的大规模训练
  • 实践演练:配置Lustre进行SageMaker Training

第5课幻灯片

第5课实践演示资源

6. 使用人类反馈的强化学习

  • 这种技术是什么,为什么我们关心它
  • 通过在大规模上对人类偏好进行排名来解决主观性和客观性的问题
  • 它是如何工作的?
  • 如何在SageMaker Ground Truth上实现这一点
  • 更新的奖励建模
  • 实践演练:在SageMaker上进行RLFH

第6课幻灯片

第6课实践演示资源

7. 部署一个基础模型

  • 为什么我们要部署模型?
  • AWS上部署FM的不同选项
  • 如何优化模型以进行部署
  • 大型模型部署容器深入解析
  • 部署FM的SageMaker的顶级配置技巧
  • 调用基础模型的提示工程技巧
  • 使用检索增强生成来减轻幻觉
  • 实践演练:在SageMaker上部署一个FM

第7课幻灯片

第7课实践演示资源