介绍世界上最大的开放式多语言模型：BLOOM
介绍BLOOM：世界上最大的开放式多语言模型
大型语言模型（LLM）对人工智能研究产生了重大影响。这些强大而通用的模型可以根据用户的指令执行各种新的语言任务。然而，学术界、非营利组织和小型公司的研究实验室很难创建、研究甚至使用LLM，因为只有少数具备必要资源和专有权的工业实验室可以完全访问它们。今天，我们发布了BLOOM，这是第一个完全透明训练的多语言LLM，旨在改变这种现状，它是AI研究人员有史以来参与单个研究项目最大的合作结果。
具有1760亿参数的BLOOM能够在46种自然语言和13种编程语言中生成文本。对于其中几乎所有的语言，如西班牙语、法语和阿拉伯语，BLOOM将是有史以来首个拥有超过1000亿参数的语言模型。这是一个历时一年的工作，涉及来自70多个国家和250多个机构的1000多名研究人员，最终在法国巴黎南部的Jean Zay超级计算机上进行了117天的训练，得益于法国研究机构CNRS和GENCI的一项价值约300万欧元的计算赠款。
研究人员现在可以下载、运行和研究BLOOM，以调查最近开发的大型语言模型的性能和行为，甚至可以深入研究其最深层的内部操作。更一般地说，只要同意模型的“负责任的AI许可证”条款（在BigScience项目本身期间开发），任何个人或机构都可以在本地计算机或云提供商上使用和构建该模型。在合作和不断改进的精神下，我们还首次发布了训练的中间检查点和优化器状态。没有8个A100可以使用吗？目前由Google的TPU云支持的推理API和模型的FLAX版本也支持快速测试、原型设计和小规模使用。您已经可以在Hugging Face Hub上体验它。
这只是个开始。BLOOM的功能将随着研讨会的持续实验和调整而不断改进。我们已经开始努力使其可指导，就像我们之前的努力T0++一样，并计划添加更多语言、将模型压缩为更可用的版本并保持相同的性能水平，并将其用作更复杂体系结构的起点……所有研究人员和实践者一直想要运行的实验，从一个超过1000亿参数模型的强大能力开始，现在都成为可能。BLOOM是一个我们打算发展的活跃模型家族的种子，而不仅仅是一个一劳永逸的模型，我们准备支持社区努力扩展它。
