Habana Labs与Hugging Face合作加速Transformer模型训练

Habana Labs与Hugging Face合作加速Transformer模型训练

加利福尼亚州圣塔克拉拉和旧金山,2022年4月12日

由深度学习驱动的Transformer模型在自然语言处理、计算机视觉、语音等各种机器学习任务上表现出色。然而,要在大规模上训练它们往往需要大量的计算能力,使整个过程变得冗长、复杂且昂贵。

今天,高效能深度学习处理器的开拓者Habana® Labs和Transformer模型的创始地Hugging Face愉快地宣布他们联手合作,以便更轻松、更快速地训练高质量的Transformer模型。通过Habana的SynapseAI软件套件与Hugging Face的Optimum开源库的集成,数据科学家和机器学习工程师现在可以通过几行代码加速在Habana处理器上训练Transformer模型,并享受更高的生产力和更低的训练成本。

Habana Gaudi训练解决方案为亚马逊的EC2 DL1实例和Supermicro的X12 Gaudi AI训练服务器提供动力,其性价比高于相似训练解决方案高达40%,使客户能够以更低的成本进行更多的训练。每个Gaudi处理器上的十个100 Gigabit以太网端口的集成使得系统的扩展从1个到数千个Gaudi变得轻松和成本效益高。Habana的SynapseAI®在设计之初即经过优化,以实现Gaudi的性能和易用性,支持TensorFlow和PyTorch框架,并专注于计算机视觉和自然语言处理应用。

Hugging Face在Github上拥有60,000多个星标、30,000多个模型和数百万次月度访问量,是开源软件历史上增长最快的项目之一,也是机器学习社区的首选之地。

通过其硬件合作伙伴计划,Hugging Face为Gaudi先进的深度学习硬件提供了终极的Transformer工具集。这个合作伙伴关系将能够快速扩展Habana Gaudi训练Transformer模型库,将Gaudi的效率和易用性带到各种客户用例中,如自然语言处理、计算机视觉、语音等。

“我们很高兴与Hugging Face及其众多开源开发人员合作,以满足对Transformer模型的不断增长的需求,从而从Gaudi训练平台的效率、易用性和可扩展性中获益”,Habana Labs的软件产品管理负责人Sree Ganesan表示。

“Habana Gaudi为深度学习模型训练带来了新的效率水平,我们非常兴奋通过Optimum轻松地使Transformer用户通过最小的代码更改获得这种性能”,Hugging Face的产品总监Jeff Boudier表示。

要了解如何开始使用Habana Gaudi进行训练,请访问https://developer.habana.ai。

有关Hugging Face和Habana Gaudi合作的更多信息,请访问https://huggingface.co/Habana。