LLMOps – MLOps的下一个前沿
LLMOps - MLOps前进的下一个前沿
最近，Iguazio的市场营销副总裁Sahar Dolev-Blitental在关于LLMOps和MLOps的迅速访谈中加入了我们，探讨了这个新兴领域的诸多方面。在将近一个小时的时间里，Sahar讨论了LLMOps领域的定义、用例和最佳实践。继续阅读以获取访谈的核心要点，或者您可以在这里观看完整视频。
什么是LLMOps？
“[生成式AI]的快速发展速度以及人人皆谈论它的事实，使得MLOps和LLMOps比以往任何时候都更加重要。”
大型语言模型存在一系列挑战和复杂性。正如Sahar所指出的，LLM的规模要求更多的GPU并且存在不同的风险。对于LLM来说，效率的重点也更加突出，以抵消其所需的更多资源量。然而，Sahar解释说，MLOps和LLMOps的基本原理是相同的，区别在于将模型从生命周期到部署的规模。
- “利用定制的LLM引擎AI助手增强您的研究能力”
- 解锁非编码人工智能的力量，为商业专业人士服务
- 迎接OmniControl：一种人工智能方法，将灵活的空间控制信号纳入基于扩散过程的文本条件人体运动生成模型中
LLMOps的用例
“如今，仅有2%的应用程序是Gen AI。我是说，谈论Gen AI的比例确实达到了90%，但实际应用中仅有大约2%的应用程序是基于Gen AI的。所以，我认为现在还处于早期阶段。”
虽然该领域仍处于起步阶段，但LLMOps已被用于将生成式AI应用程序引入生产环境。在访谈中，Sahar探讨了两个用例：主题专家和呼叫中心分析。
主题专家通常在医疗和零售领域受雇，以聊天机器人的形式成为指定主题的专家。例如，您可能会在网站上嵌入它们以直接帮助客户，或在客户成功团队的支持角色中使用。
至于呼叫中心分析，这些应用程序可以用于情感分析，以深入挖掘讨论的主题，并识别需要更多支持的员工。在这两种情况下，这些应用程序的使用可以帮助员工更好地完成工作并提高满意度。
最佳实践
“第一个关键的提示是您不需要自行构建LLM。”
我们将要提到的最后一个主题是为希望实现LLM以及减少模型偏见的较小组织的最佳实践。
对于有成本关注的较小组织，Sahar建议关注现有的LLM，而不是从头开始构建自己的LLM。这样可以降低培训成本。其次，她建议将LLM用例的范围限定得非常狭窄。这样可以防止LLM在那些不创造价值的工作上浪费资源。
为了避免偏见，Sarah强调了两个非常重要的领域。首先，数据准备至关重要。如果数据存在偏见，输出也将存在偏见。有几种方法可以避免有偏见的数据集：
- 组建多元化的团队，代表广泛的不同背景
- 在一开始就提供多样的数据集
- 不断监控并承诺在发现偏见时进行重新培训。
结论
如果您想进一步了解LLMs和LLMOps，请务必参加从10月30日至11月2日期间举办的ODSC West活动。您将享受到专注于这个快节奏领域的演讲、会议、活动等。
确认的LLM活动包括：
- 使用功能存储个性化LLMs
- 对大型语言模型进行评估技术
- 使用开源工具和LLMs构建专家问答机器人
- 了解大型模型的情况
- 使用联合系统优化对开源大型模型进行细化调优
- 使用LlamaIndex在数据上构建以LLM为动力的知识工作者
- 通过data2vec实现通用且高效的自监督学习
- 走向可解释的、语言无关的LLM
- 对Slack消息进行细化调优LLMs
- 超越示范和原型：使用开源LLMs构建适用于生产的应用程序的方法
- 采用语言模型需要风险管理 – 这就是如何做到的
- 连接大型语言模型 – 常见陷阱与挑战
- LLMs背景和PaLM 2简介：一个更小、更快、更强大的LLM
- Apache Spark™的英语SDK
- 整合语言模型以实现自动化特征工程构思
- 如何交付具有上下文准确的LLMs
- 检索增强生成（RAG）101：使用Llama 2、LangChain和Pinecone为数据构建开源的“ChatGPT”
- 使用Llama 2构建
- LLM最佳实践：培训、细化调优和来自研究的尖端技巧
- 实践AI风险管理：利用NIST A
