稳定AI发布了Beluga 1和稳定Beluga 2新的开放访问LLM

Stable AI released Beluga 1 and Stable Beluga 2 for open access LLM.

在一篇新的博客中,Stability AI及其CarperAI实验室揭示了Stable Beluga 1和其后继者Stable Beluga 2(之前被称为FreeWilly)。根据他们的帖子,这两个大型语言模型的目标是扩展和建立开放式AI研究的新标准。

Stable Beluga 1基于LLaMA 65B模型的基础进行构建。它使用标准的Alpaca格式通过新的合成数据集进行有监督的微调(SFT)。同样,Stable Beluga 2利用LLaMA 270B基础模型的强大能力。根据帖子,这使其具有业界领先的性能。

这两个模型作为引人注目的研究实验出现,旨在推动非商业许可下的开放研究倡议。内部团队确保这两个模型“礼貌和良性”。但他们也希望社区能够帮助并参与进一步的红队测试。

Stable Beluga模型的数据生成和收集之旅受到了Microsoft在论文“Orca:从GPT-4的复杂解释跟踪中进行渐进学习”的方法论的启发。在帖子中,他们提到他们的过程类似,但在数据源方面采取了另一种路线。

他们继续提到合成数据集包含了600,000个数据点。它是从高质量的指令中策划出来的,并且是Enrico Shippole数据集的一个变体:

  • COT Submix Original
  • NIV2 Submix Original
  • FLAN 2021 Submix Original
  • T0 Submix Original

在帖子的后面,他们提到这些数据集的筛选去除了评估基准中的示例。根据他们的说法,这是为了确保公平竞争。尽管训练数据仅占原始Orca论文使用数据的一部分,但Stable Beluga模型在不同的基准测试中表现出了卓越的性能。在Stability AI的观点中,这验证了他们合成生成数据集的方法。

最后,帖子提到Hugging Face能够验证Beluga模型的指标。结果随后发布在他们的Open LLM排行榜上。目前,Stable Beluga 2排名第二,而Stable Beluga 1目前排名第七。

编辑注:深度学习正在成为AI发展的关键话题,如果您想保持在最新发展的前沿,那么您需要听取行业领导者的声音。您将在ODSC West 2023深度学习和机器学习专场活动中获得这一机会。立即保存您的席位并进行注册。