免费麻省理工学院课程：微型机器学习和高效深度学习计算
免费麻省理工学院课程：微型机器学习与高效深度学习计算
介绍
在今天这个科技发达的世界中，我们被各种令人惊叹的人工智能应用所包围：回答我们问题的语音助手，识别人脸的智能摄像头和自动驾驶汽车。它们就像是我们数字时代的超级英雄！然而，让这些科技奇迹在我们的日常设备上顺利运行比想象中更困难。这些人工智能超级英雄有一个特殊需求：大量的计算能力和内存资源。这就像是把整个图书馆塞进一个小小的背包里。你猜怎么着？我们大部分的常用设备，例如手机、智能手表等，都没有足够的”脑力”来处理这些人工智能超级英雄。这给人工智能技术的广泛部署带来了重大问题。
因此，提高这些大型人工智能模型的效率，使其可访问性更强是至关重要的。麻省理工学院HAN实验室的这门课程：”TinyML和高效深度学习计算”正是解决这一核心难题。它介绍了优化人工智能模型的方法，确保其在真实场景中的可行性。让我们详细了解一下它提供了什么：
课程概述
课程结构：
持续时间：2023年秋季
时间：周二/周四 下午3:35-5:00东部时间
讲师：宋涵教授
由于这门课程正在进行中，您可以在此链接观看直播。
课程方法：
理论基础：从深度学习的基础概念开始，然后深入介绍高效人工智能计算的先进方法。
实践经验：通过使学生能够在他们的笔记本电脑上部署和使用类似LLaMA 2的大型语言模型，提供实践经验。
课程模块
1. 高效推断
这个模块主要关注提高人工智能推断过程的效率。它深入研究了剪枝、稀疏性和量化等技术，旨在使推断操作更快捷、更节约资源。涵盖的主题包括：
- 剪枝和稀疏性（第一部分和第二部分）：探索通过去除不必要的部分来减小模型大小的方法，而不影响性能。
- 量化（第一部分和第二部分）：使用较少的位数表示数据和模型的技术，节省内存和计算资源。
- 神经结构搜索（第一部分和第二部分）：这些讲座探讨了用于发现特定任务的最佳神经网络架构的自动化技术。它们在自然语言处理、生成对抗网络、点云分析和姿态估计等各个领域展示了实际应用。
- 知识蒸馏：本节重点介绍知识蒸馏，即通过训练一个简洁模型来模拟一个更大、更复杂模型的行为。它旨在将一个模型的知识转移到另一个模型中。
- MCUNet：微控制器上的TinyML：本讲座介绍了MCUNet，着重讲解如何在微控制器上部署TinyML模型，使人工智能能够在低功耗设备上高效运行。它涵盖了TinyML的核心概念、挑战、创建紧凑神经网络以及其各种应用。
- TinyEngine和并行处理：本部分讨论TinyEngine，探索在受限设备上实现高效部署和并行处理策略的方法，例如循环优化、多线程和内存布局等。
2. 领域特定优化
在领域特定优化部分，该课程涵盖了各种旨在优化特定领域的AI模型的高级主题：
- Transformer和LLM（第I和II部分）：它深入介绍了Transformer的基础知识、设计变体，并涵盖了与LLM的高效推理算法相关的高级主题。它还探索了LLM的高效推理系统和微调方法。
- 视觉Transformer：本节介绍了视觉Transformer的基础知识、高效ViT策略和多样化的加速技术。它还探索了自监督学习方法和多模式大型语言模型（LLM）以提升视觉相关任务中的AI能力。
- GAN、视频和点云：这节课重点介绍了通过探索高效GAN压缩技术（使用NAS+蒸馏）对生成对抗网络（GANs）进行增强，针对动态成本的AnyCost GAN，以及数据高效的GAN训练的可微增强。这些方法旨在优化GAN模型、视频识别和点云分析。
- 扩散模型：本讲座深入介绍了扩散模型的结构、训练、领域特定优化和快速采样策略。
3. 高效训练
高效训练是指优化机器学习模型训练过程的方法学应用。本章涵盖以下关键领域：
- 分布式训练（第I和II部分）：探索将训练分布在多个设备或系统上的策略。它提供了克服带宽和延迟瓶颈、优化内存消耗以及实施高效并行化方法以增强在分布式计算环境下训练大规模机器学习模型的效率的策略。
- 设备上的训练和迁移学习：本节主要关注在边缘设备上直接训练模型，处理内存约束，并采用迁移学习方法以高效适应新领域。
- 高效微调和提示工程：本节重点介绍通过BitFit、适配器和提示微调等高效微调技术对大型语言模型（LLMs）进行精炼。此外，它突出了提示工程的概念，并说明了它如何提高模型性能和适应性。
4. 高级主题
本模块涵盖了有关量子机器学习这一新兴领域的主题。虽然本节的详细讲座尚未公开，但计划涵盖的主题包括：
- 量子计算基础知识
- 量子机器学习
- 噪声稳健量子机器学习
这些主题将为量子计算领域的基本原理提供基础性的理解，并探索如何将这些原理应用于增强机器学习方法，同时解决量子系统中噪声带来的挑战。
如果您有兴趣更深入地了解这门课程，请查看下面的播放列表：
总结
该课程收到了极好的反馈，尤其是来自AI爱好者和专业人士。虽然该课程正在进行中，预计将于2023年12月结束，但我强烈推荐加入！如果您正在参加此课程或打算参加，请分享您的经验。让我们一起讨论和学习关于TinyML和如何在小型设备上使AI更智能。您的参与和洞察将非常宝贵！
[Kanwal Mehreen](https://www.linkedin.com/in/kanwal-mehreen1/)是一位有志于软件开发的人，对数据科学和AI在医学中的应用非常感兴趣。Kanwal作为2022年Google Generation学者获选为亚太地区。Kanwal热衷于通过撰写关于热门话题的文章来分享技术知识，并致力于改善科技行业对女性的代表性。
