Hugging Face 和 IBM 在 watsonx.ai 上合作,这是下一代的 AI 构建工作室
Hugging Face和IBM合作在watsonx.ai上,是下一代AI构建工作室
撇开一切炒作不谈,很难否认人工智能对社会和企业产生的深远影响。从初创企业到大型企业再到公共部门,我们与每个顾客交流时都发现他们都在忙于尝试使用大型语言模型和生成式人工智能,确定最有前景的应用场景,并逐步将其投入生产。
我们从顾客那里得到的最多的一条评论是:没有哪个单一模型可以统治它们所有。他们明白为每个用例构建最佳模型的价值,以最大化其在公司数据上的相关性,同时优化计算预算。当然,隐私权和知识产权也是最重要的关切点,顾客希望确保他们保持完全控制。
随着人工智能进入每个部门和业务单位,顾客也意识到需要训练和部署许多不同的模型。在一个大型跨国组织中,这可能意味着任何时候都可能运行数百个甚至数千个模型。鉴于人工智能创新的速度,更新和性能更高的模型架构也将导致顾客比预期更快地替换他们的模型,进一步强调了快速无缝地在生产中训练和部署新模型的需求。
- Hugging Face与微软合作,在Azure上推出Hugging Face模型目录
- 使用bitsandbytes、4位量化和QLoRA使LLMs更加易于访问
- 优化稳定扩散:使用NNCF和🤗 Optimum对Intel CPU进行优化
所有这些都只会在标准化和自动化的情况下发生。组织无法负担为新项目从零开始构建模型、工具和基础设施。幸运的是,最近几年已经出现了一些非常积极的发展:
- 模型标准化:Transformer架构现在已经成为深度学习应用(如自然语言处理、计算机视觉、音频、语音等)的事实标准。现在更容易构建在许多用例中表现良好的工具和工作流程。
- 预训练模型:成千上万个预训练模型只需点击一下即可获得。您可以直接在Hugging Face上发现和测试它们,并快速为您的项目筛选出有前景的模型。
- 开源库:Hugging Face库让您可以通过一行代码下载预训练模型,您可以在几分钟内开始使用您的数据进行实验。从训练到部署再到硬件优化,顾客可以依赖一套一致的社区驱动工具,无论是在他们的笔记本电脑还是在他们的生产环境中,这些工具都能够在各处保持相同的工作方式。
此外,我们的云合作伙伴关系使顾客可以在任何规模上使用Hugging Face模型和库,而无需担心预配基础设施和构建技术环境。这使得更轻松地以快速的速度发布高质量模型变得更加容易,而无需重新发明轮子。
在与AWS的Amazon SageMaker和微软的Azure Machine Learning的合作之后,我们非常高兴与IBM合作,共同开发他们的新一代AI工作室watsonx.ai。watsonx.ai是面向AI构建者的下一代企业工作室,用于训练、验证、调整和部署传统机器学习和新的生成式人工智能能力,由基础模型驱动。
IBM决定将开源放在watsonx.ai的核心。我们完全赞同!watsonx.ai基于RedHat OpenShift构建,将在云端和本地提供。对于因严格的合规规定而无法使用云端的客户来说,这是一个很好的消息,或者对于更喜欢在其基础设施上处理机密数据的客户来说,这是一个更好的选择。迄今为止,这些客户通常不得不构建自己的内部机器学习平台。现在,他们有了一个可部署和使用标准DevOps工具进行管理的开源现成选择。
在技术层面上,watsonx.ai还集成了许多Hugging Face开源库,例如transformers(拥有10万+的GitHub星标!)、加速、peft和我们的文本生成推理服务器等。我们很高兴与IBM合作,并在watsonx AI和数据平台上合作,以便Hugging Face的顾客可以与其Hugging Face模型和数据集进行本地化工作,从而将人工智能的影响扩大到业务中。
此外,IBM还开发了自己的一系列大型语言模型,我们将与他们的团队合作,将其开源并在Hugging Face Hub中轻松提供。
要了解更多信息,请观看IBM研究部门的高级副总裁兼总监Dr. Darío Gil与我们的首席执行官Clem Delangue在IBM THINK 2023主题演讲中宣布我们的合作、演示watsonx平台以及展示IBM的一套大型语言模型。
我们的联合团队目前正在努力工作。我们迫不及待地想向您展示我们一直在做些什么!最具标志性的技术公司与新兴初创企业联手解决企业中的人工智能…谁会想到呢?
这是非常激动人心的时代。请继续关注!