Meta发布LLaMA 2 商业免费使用

Meta发布LLaMA 2商业免费使用

Llama 2,我们开源大型语言模型的下一代

这将是一个简短的介绍,Meta发布了LLaMA的新版本。这个版本将被称为LLaMA 2,可以免费用于研究和商业用途。这是Meta和Microsoft共同发布的。

我认为微软想要统一所有第三方LLMs,并将它们作为SaaS在自己的平台上作为商业产品。现在OpenAI和LLaMA都将成为Microsoft的产品。

有什么新的?

我们将包括预训练模型和交流微调版本的模型权重和起始代码

这意味着不再需要去4chan获取权重并构建自己的模型了。无论是架构还是模型权重都可以免费用于商业目的。

该模型有3个版本:

  • LLaMA-2-7B
  • LLaMA-2-13B
  • LLaMA-2-70B

所有这些模型都作为基础模型和附带的CHAT模型发布。因此总共将发布6个月。

较小的7B和13B应该适合现代消费级GPU,而较大的70B则适合A100。

  • 上下文长度默认为4096,但可以增加。
  • 模型训练使用了2万亿个标记。
  • 7B和13B的架构与它们的旧版本类似,但70B是一个新版本。
  • 该模型针对Chat场景进行了微调,并使用了10万个样本和超过一百万个人类偏好进行了监督微调。

基准测试:

该模型应该与大多数开源模型媲美。特别是与Falcon-40B(目前的冠军)相比,该模型在所有任务上的表现都更好。

一系列标准测试

人工评估