麻省理工学院的研究人员开发了一种机器学习技术，使深度学习模型能够在边缘设备上直接高效适应新的传感器数据
麻省理工学院研究人员开发最新机器学习技术：深度学习模型直接在边缘设备高效适应新传感器数据
随着技术的迅猛发展，边缘设备已成为我们日常生活中不可或缺的一部分，完美地融入了我们网络化的社会。这些广泛使用的边缘设备在我们的网络边缘产生了大量无与伦比的数据。
由于一个模型无法满足各种用户的多样化需求，对智能、定制和保密的人工智能的需求也在增加。尽管边缘设备通常处理深度学习任务，但深度神经网络的训练通常发生在强大的云端GPU服务器上。
然而，现有的训练框架专为配备加速器的强大云服务器而设计，必须进行优化，以使边缘设备上的学习变得有效。
- 宾夕法尼亚大学的研究人员开发了一个用于评估基于视觉的AI功能有效性的机器学习框架，通过在OpenAI的ChatGPT-Vision上进行一系列测试
- 使用Amazon Bedrock和Amazon Location Service的地理生成人工智能
- 通过使用AWS Trainium，亚马逊搜索M5使LLM培训成本节省了30%
定制的深度学习模型可以使AI聊天机器人适应用户的口音，或者使智能键盘根据以前的输入活动不断改进单词预测。
由于智能手机和其他边缘设备通常缺乏进行此微调过程所需的内存和处理能力，因此用户数据通常被发送到云服务器。这些服务器是模型更新的地方，因为它们具备完成微调AI模型的艰巨任务所需的资源。
因此，麻省理工学院和其他地方的研究人员开发了PockEngine，这是一种可以使深度学习模型有效地适应新鲜传感器数据的技术。PockEngine仅存储和计算需要更新以提高准确性的大型机器学习模型的精确部分。
大多数这些计算完成于运行时之前的模型准备过程中，从而减少计算开销并加快微调过程。PockEngine在某些硬件平台上的设备端训练速度提高了15倍。PockEngine防止模型失去准确性，他们的微调技术使一个知名的AI聊天机器人能更准确地回答具有挑战性的查询。
PockEngine在一些硬件平台上的速度提升了15倍。由于PockEngine与广泛的训练图优化相结合，训练过程进一步加快。
设备端微调的好处包括增强的隐私、降低的费用、定制选项和终身学习。然而，还需要更多的资源来简化这个过程。
他们称PockEngine在模型编译和准备部署时生成了一个反向传播图。它通过删除层的冗余部分来实现这一点，从而得到一个在运行时可用的简化图。然后，进行额外的优化以提高效率。
这种方法对于需要大量示例进行微调的模型尤其有用，因为研究人员将其应用于大型语言模型Llama-V2。PockEngine逐层单独调整特定任务的每个层，跟踪每个层的准确性提高情况。通过权衡准确性和成本之间的权衡，PockEngine可以确定每个层的相对贡献和所需的微调百分比。
该系统首先逐个任务对每个层进行微调，并在每个层之后测量准确性的改进。研究人员强调，PockEngine确定了每个层的贡献，以及准确性和微调成本之间的权衡，并自动确定了需要微调的每个层的百分比。
PockEngine相对于预构建的Raspberry Pi TensorFlow提供了15倍的速度提升，证明其具有令人印象深刻的速度改进。此外，在Jetson AGX Orin上，在反向传播过程中，PockEngine实现了显著的5.6倍内存节省。主要的是，PockEngine使NVIDIA上的LLaMav2-7B能够进行有效的微调。
