系好安全带：猎鹰180B开启新篇章！
安全带好好扣紧：猎鹰180B开启全新篇章！
几个月前，我们了解到Falcon LLM，其由阿布扎比政府高级技术研究委员会（Technology Innovation Institute）旗下的公司成立。快进几个月，他们变得更大更好了 – 实际上，更大得多。
Falcon 180B：了解一切
Falcon 180B是当前最大的公开语言模型，包含1800亿个参数。是的，你没看错 – 1800亿个。它使用TII公司的RefinedWeb数据集上的3.5万亿个标记进行训练。这代表着一个开放模型的最长单纪元预训练。
我们在这里关注的不仅仅是模型的规模，还关注其背后的力量和潜力。Falcon 180B在大型语言模型（LLMs）的能力方面创造了新的标准。
可用的模型有：
Falcon-180B基础模型是仅有解码器的因果模型。我建议使用此模型进一步微调您自己的数据。
Falcon-180B-Chat模型与基础版本相似，但通过使用Ultrachat，Platypus和Airoboros指令（聊天）数据集进行微调。
训练
Falcon 180B相比其前任Falcon 40B有了提升，具备了更强大的可扩展性，例如多查询注意力。该模型使用Amazon SageMaker上的4096个GPU进行训练，并且使用3.5万亿个标记进行训练。这大约相当于700万小时的GPU时间。这意味着Falcon 180B的训练速度是像Llama 2这样的LLMs的2.5倍，并且使用的计算资源是其4倍。
哇，这太多了。
数据
Falcon 180B使用的数据集主要(85%)来自RefinedWeb，同时也经过了技术论文，对话和部分代码的混合训练。
基准测试
您们都想知道 – Falcon 180B在与竞争对手相比的表现如何？
Falcon 180B是目前（2023年9月）最好的公开发布的LLM。在MMLU上，它的表现超过了Llama 2 70B和OpenAI的GPT-3.5。它通常位于GPT 3.5和GPT 4之间。
Falcon 180B在Hugging Face排行榜上排名68.74，成为最高得分的公开发布的预训练LLM，超过了Meta的LLaMA 2，后者得分为67.35。
如何使用Falcon 180B？
对于开发人员和自然语言处理（NLP）爱好者来说，Falcon 180B可在Hugging Face生态系统上使用，从Transformers版本4.33开始。
然而，由于模型的大小，您需要考虑硬件要求。为了更好地了解硬件要求，HuggingFace进行了运行不同用例所需的模型测试，如下图所示：
如果您想进行测试并尝试一下，可以通过点击以下链接试用 Falcon 180B 的演示：Falcon 180B 演示。
Falcon 180B 与 ChatGPT 对比
该模型对硬件的要求较高，不是每个人都能轻松获得。然而，根据其他人测试 Falcon 180B 和 ChatGPT 并问相同问题的结果来看，ChatGPT 获胜。
它在代码生成方面表现良好，但在文本提取和摘要方面需要改进。
总结
如果您有机会尝试它，请告诉我们与其他语言模型相比的发现。作为目前 Hugging Face 模型库中最大的公开可用模型，Falcon 180B 是否值得如此大肆宣传？
嗯，它似乎是，因为它已经在开放获取模型中脱颖而出，为像 PaLM-2 这样的模型带来了挑战。我们迟早会找到答案的。 Nisha Arya 是一位数据科学家、自由技术作家和 VoAGI 社区经理。她对提供数据科学职业建议、教程和基于理论的数据科学知识特别感兴趣。她还希望探索人工智能是如何/可以受益于人类寿命的不同方式。作为一位热心的学习者，她希望扩展自己的技术知识和写作技巧，同时帮助指导他人。
****[Nisha Arya](https://www.linkedin.com/in/nisha-arya-ahmed/)**** 是一位数据科学家和自由技术作家。她对提供数据科学职业建议、教程和基于理论的数据科学知识特别感兴趣。她还希望探索人工智能是如何/可以受益于人类寿命的不同方式。作为一位热心的学习者，她希望扩展自己的技术知识和写作技巧，同时帮助指导他人。
