Hugging Face 和 AMD 合作，加速用于 CPU 和 GPU 平台的最先进模型
Hugging Face与AMD合作，加速最先进模型在CPU和GPU平台上的应用
无论是语言模型、大型语言模型还是基础模型，转换器在预训练、微调和推理过程中都需要大量的计算。为了帮助开发人员和组织在基础设施上获得最佳性能，Hugging Face一直与硬件公司合作，利用其各自芯片上的加速功能。
今天，我们很高兴宣布AMD正式加入我们的硬件合作伙伴计划。我们的CEO Clement Delangue在旧金山举行的AMD数据中心和AI技术首映式上发表了主题演讲，宣布了这一令人兴奋的新合作。
AMD和Hugging Face共同努力，为AMD的CPU和GPU提供最先进的转换器性能。这个合作对于Hugging Face社区来说是个好消息，很快将从最新的AMD平台中受益，用于训练和推理。
多年来，深度学习硬件的选择一直受到限制，价格和供应成为人们关注的问题。这个新的合作伙伴关系将不仅能与竞争者匹敌，还能帮助缓解市场动态，同时也有望树立新的性价比标准。
支持的硬件平台
在GPU方面，AMD和Hugging Face首先将在企业级Instinct MI2xx和MI3xx系列上进行合作，然后在客户级Radeon Navi3x系列上进行合作。在初步测试中，AMD最近报告说MI250训练BERT-Large的速度比其直接竞争对手快1.2倍，GPT2-Large快1.4倍。
在CPU方面，两家公司将致力于优化客户端Ryzen和服务器EPYC CPU的推理性能。正如在之前的几篇文章中讨论的那样，CPU对于转换器推理来说是一个很好的选择，特别是使用量化等模型压缩技术。
最后，合作还将包括Alveo V70 AI加速器，它可以以更低的功耗提供令人难以置信的性能。
支持的模型架构和框架
我们打算支持自然语言处理、计算机视觉和语音等最先进的转换器架构，例如BERT、DistilBERT、ROBERTA、Vision Transformer、CLIP和Wav2Vec2。当然，生成式AI模型也将可用（例如GPT2、GPT-NeoX、T5、OPT、LLaMA），包括我们自己的BLOOM和StarCoder模型。最后，我们还将支持更传统的计算机视觉模型，如ResNet和ResNext，以及深度学习推荐模型，这对我们来说是首次。
我们将尽力为上述平台的PyTorch、TensorFlow和ONNX Runtime测试和验证这些模型。请记住，并非所有模型都可能适用于所有框架或所有硬件平台的训练和推理。
未来的发展方向
我们的首要任务是确保对我们社区最重要的模型在AMD平台上能够出色运行。我们将与AMD工程团队密切合作，通过最新的AMD硬件和软件功能对关键模型进行优化，以提供最佳性能。我们将无缝地将AMD ROCm SDK集成到我们的开源库中，从transformers库开始。
在过程中，我们肯定会发现进一步优化训练和推理的机会，并与AMD密切合作，确定在这个合作伙伴关系中最好的投资方向。我们希望这项工作能够引导我们开发专门针对AMD平台的新的Optimum库，帮助Hugging Face用户在几乎没有代码更改的情况下充分利用它们。
结论
我们很高兴能够与像AMD这样世界一流的硬件公司合作。开源意味着可以从各种软件和硬件解决方案中选择。由于这个合作伙伴关系，Hugging Face用户很快将能够在训练和推理中使用新的硬件平台，获得优越的性价比优势。与此同时，欢迎访问Hugging Face Hub上的AMD页面。敬请关注！
本文完全不涉及ChatGPT。
