“Hugging Face 是 LLMs 的新 GitHub”
Hugging Face = LLMs' new GitHub
近年来，大型语言模型（LLMs）在科技行业掀起了一股风潮，开辟了创新的新领域，并对从搜索到客户服务等方方面面进行了颠覆性的改变。支撑着人工智能革命的是像GitHub和Hugging Face这样的开放生态系统，它们使开发人员和公司能够快速构建、部署和扩展LLMs。就像GitHub已经成为软件开发和协作的首选平台一样，Hugging Face现在也成为了与LLMs相关的事物的事实标准中心。
大型语言模型的崛起
像GPT-3、BERT和PaLM这样的LLMs以其生成类似人类的文本、回答问题、总结文件甚至根据简单文本提示编写代码的能力，征服了科技界的想象力。根据麦肯锡的一份报告，2021年，投资于专注于LLMs的自然语言处理初创公司的金额从2020年的1亿美元增长到了15亿美元以上。
对LLMs的兴趣激增源于它们在应对各种人工智能挑战方面的多功能性。例如，OpenAI的ChatGPT在对话任务上表现出色，而Cohere的生成式NLP API等工具则用于总结文本和内容管理。LLMs正在改变企业的运营方式，推动着智能搜索到自动化客户支持等一切。
麦肯锡估计，到2025年，LLMs在美国经济中仅能创造2000亿至3000亿美元的年度经济价值。美国的谷歌、Meta和微软等科技巨头以及初创公司都在争相开发LLMs的潜力。但是，构建、部署和迭代LLMs需要专门的基础设施和工具。
GitHub在软件协作中的关键作用
要理解Hugging Face作为LLMs中心的日益重要性，有必要看看GitHub在软件开发中所扮演的不可或缺的角色。GitHub于2008年推出，开创了用于版本控制和源代码管理的开源Git协议。
如今，GitHub托管着超过2亿个代码仓库和8300万开发人员。它为开发人员提供了协作、代码审查、问题追踪和软件发布工具。GitHub已经成为软件团队运作的重要组成部分，这一点由微软在2018年以75亿美元收购GitHub所体现。
根据Stack Overflow的2021年调查，超过90%的开发人员使用GitHub。该平台的社交编码功能打破了软件开发的障碍。开发人员可以利用开源项目加速构建。公司使用GitHub的企业级产品来简化编码工作流程。GitHub深入融入开发者文化，影响着软件社区如何创建、扩展和部署代码。
Hugging Face成为LLMs的首选平台
就像GitHub推动了开源开发一样，Hugging Face正在引领LLMs的开放生态系统方法。Hugging Face成立于2016年，最初专注于自然语言处理。2020年，它转向LLMs，并创建了统一不同LLM架构（如BERT和GPT-2）的Transformers库，并提供标准化的API。
这个库通过抽象化处理LLMs的复杂性，使得访问LLMs变得更加民主化。如今，Hugging Face已经成为一个拥有超过20万用户的活跃社区。它的主要产品包括：
- 模型中心：存储着超过10万个AI模型，包括OpenAI的CLIP和Salesforce的BLENDER等LLMs。降低了使用LLMs的门槛。
- 分词器：用于对LLMs进行分词和编码的预训练模型。对数据预处理至关重要。
- 数据集：精心策划的数据集，用于训练和评估LLMs。
- Spaces：一个用于部署、监控和扩展LLM驱动应用程序的MLOps平台。
- Infinite：基于GPT模型的类似维基百科的数据集，用于生成对自然语言查询的回答。
这套工具集解决了LLM开发生命周期的各个环节，从发现到部署。Hugging Face还在与Streamlit等平台构建集成，实现无代码LLM实验。
Hugging Face迄今为止已经获得了1亿美元的融资，反映出其日益突出的地位。在过去一年中，它的估值增长了五倍，达到了20亿美元。国际上的顶尖人工智能实验室和公司也与Hugging Face达成合作伙伴关系。
LLMs的GitHub
Hugging Face的模型、数据集和开发工具的广泛库使其被称为“LLM的GitHub”。其模型库是任何想要使用LLM进行工作的人的起点。开发人员可以在那里找到像Meta AI的OPT-175B这样的模型的优化实现。
然后，他们可以通过Hugging Face的Transformers库轻松访问这些模型。这极大地降低了使用尖端LLM的门槛。公司不再需要从头开始构建自己的LLM。相反，他们可以使用Hugging Face的预先缩放的LLM，并对其进行微调，以符合搜索和分析等领域的自定义用例。
Spaces使得协作构建、测试和部署LLM应用程序成为可能。结合Hugging Face的开放数据集和活跃的社区论坛，它为LLM量身定制了GitHub开源精神的核心元素。
美国一家大型科技公司的机器学习工程师Leo Zhao总结了Hugging Face已经深度融入LLM工作流程的方式：
“对于我们需要一个新项目的LLM来说，Hugging Face是我们的首选。他们的模型库有很多选择。我们只需几行代码就可以立即对模型进行标记化和输入数据。Spaces使得在GPU集群上扩展模型训练变得容易。它确实是与LLM相关的一站式平台。”
GitHub的类比也适用于Hugging Face在LLM周围培育了一个协作社区的方式。其论坛已成为成千上万的LLM开发人员和用户获取知识和支持的重要来源。Hugging Face通过其受欢迎的LLM会议进一步培育这个社区，使最新的进展可供所有人使用。
克服LLM应用挑战
Hugging Face在帮助公司克服采用LLM的关键障碍方面发挥着重要作用。根据麦肯锡的一项研究，组织在使用LLM时面临的最大挑战是评估价值和确定用例。Hugging Face通过集中各种LLM和推荐的微调数据集来缓解这个问题。
此外，将LLM投入生产中会带来复杂的数据和基础设施问题。Hugging Face的从模型访问到部署的端到端平台为企业消除了这些障碍。
建立和运行大规模LLM所需的财务投资也阻碍了采用。Hugging Face通过提供对预训练模型的便捷访问来降低成本。Spaces通过其无服务器架构和对可扩展云硬件（如TPU）的支持进一步优化支出。对于小团队和初创公司来说，这使得尝试大型LLM成为可能。
用LLM改变未来
展望未来，Hugging Face似乎注定将继续成长为LLM的中心。其社区已经超过了流行的人工智能论坛。越来越多的开发人员和公司在其生产流程中依赖于像Transformers库和Tokenizers这样的工具。
LLM将在营销、销售和金融等领域带来重大变革。麦肯锡预计，LLM可以自动化当前工作活动的30%至45%，带来重大的社会影响。像Hugging Face这样降低LLM创新门槛的平台将成为实现其变革潜能的关键。
就像GitHub加速了软件工程一样，Hugging Face使开发人员和企业能够更快速、更有效地利用LLM的能力。对于不断增长的以LLM为动力的经济，Hugging Face代表着通往未来的大门。其综合平台可以催生新的市场，并在规模上实现人工智能与人类的协作，引领下一个技术进步时代的到来。
