大语言模型的生成式人工智能：实践培训
大语言模型的生成式人工智能
介绍
大型语言模型（LLM）如GPT-4正在迅速改变世界和数据科学领域。在过去几年中，曾经被视为科幻的能力现在通过LLM正变为现实。
《基于大型语言模型的生成AI：实践培训》将向您介绍支撑这一革命的深度学习突破，重点关注变压器架构。更重要的是，您将直接体验到最新的GPT-4等LLM所能提供的令人惊叹的广泛能力。
您将了解LLM如何从根本上改变开发机器学习模型和商业成功数据产品的游戏规则。您将亲眼目睹它们如何加速数据科学家的创造能力，并使其成为复杂的数据产品经理。
通过利用Hugging Face和PyTorch Lightning进行的实际代码演示，本培训将涵盖与LLM的全生命周期工作。从高效的训练技巧到在生产环境中进行优化部署，您将学习到直接适用于发挥LLM能力的实际技能。
在这场充满激情的培训结束时，您将对LLM有基础的理解，并具有利用GPT-4的实际经验。
培训大纲
培训包括4个简短模块，向您介绍大型语言模型，并教您如何训练自己的大型语言模型并将其部署到服务器。除此之外，您还将了解LLM所带来的商业价值。
1. 大型语言模型（LLMs）简介
- 自然语言处理的简要历史
- 变压器
- 子词分词
- 自回归模型与自编码模型
- ELMo、BERT和T5
- GPT（生成式预训练变压器）系列
- LLM应用领域
2. LLM的广泛能力
- LLM游乐场
- GPT系列的惊人进展
- GPT-4的关键更新
- 调用OpenAI API，包括GPT-4
3. 训练和部署LLMs
- 硬件加速（CPU、GPU、TPU、IPU、AWS芯片）
- Hugging Face Transformers库
- 高效LLM训练的最佳实践
- 参数高效的微调（PEFT）与低秩自适应（LoRA）
- 开源预训练的LLMs
- 利用PyTorch Lightning进行LLM训练
- 多GPU训练
- LLM部署考虑事项
- 在生产环境中监控LLMs
4. 从LLMs获得商业价值
- 利用LLMs支持机器学习
- 可以自动化的任务
- 可以增强的任务
- 成功AI团队和项目的最佳实践
- AI的未来
资源
培训包括指向外部资源（如源代码、演示幻灯片和Google Colab笔记本）的链接。这些资源使得对于将生成AI应用于工作空间的工程师和数据科学家而言，培训具有互动性和实用性。
以下是使用Huggingface和Pytorch Lighting构建和部署自己的LLM模型所需的基本资源列表：
- 演示幻灯片
- GitHub代码源
- Google Colab（T5-Finetune）
- YouTube视频
- Jon Krohn（官方网站）
在短短2个小时内发现成功的秘诀！不要再等了！
Abid Ali Awan（@1abidaliawan）是一位经过认证的数据科学家，热衷于构建机器学习模型。目前，他专注于内容创作，并在机器学习和数据科学技术方面撰写技术博客。Abid拥有技术管理硕士学位和电信工程学士学位。他的愿景是利用图神经网络为心理疾病患者提供帮助构建一个AI产品。
