组织生成式人工智能：从数据科学团队中学到的5个教训
Organizational Generative AI 5 Lessons Learned from Data Science Teams
LLM具有巨大的潜力，但要产生可持续的价值，需要不仅仅是一个虎式团队
你做到了！
在高管领导模糊地承诺将新的Gen AI功能整合到整个组织之后，你的虎式团队为生产一个符合要求的最小可行产品（MVP）而努力奔跑。将OpenAI API集成到你的应用程序中并不那么困难，甚至可能会发现它很有用。
但现在会发生什么呢？虎式团队无法永远奔跑。每个成员在组织中都有另一个角色，这将再次占据他们的大部分时间和精力。
更不用说，有一些常规的流程和结构被忽视而加快了这个项目的进展。事实证明，它们对于确保产品适配性、从开发到运营的过渡以及成本优化等方面非常关键。
想想看，现在项目完成后，真的没有任何平台基础设施可以帮助扩展下一轮的LLM模型或其他Gen AI产品功能。
看起来是时候开始思考如何在你的数据组织中构建和支持一个Gen AI团队了。虽然那些流畅的产品演示使这个过程看起来很容易，但前方可能会有坎坷的水域：
- 除非你是几个主要的科技巨头之一，否则数据科学和Gen AI的专业知识是稀缺的。此时，没有人真正拥有任何重要的经验。对每个人来说都是新的。
- 企业知道它想要Gen AI，但目前还不知道为什么。这项技术很令人兴奋，但具体的使用案例还很模糊。没有人在维护部署方面有太多经验。
- 生态系统一夜之间涌现，但支持技术和最佳实践尚未成熟。风险通常是不可预见的，不确定性很高。
如果这听起来很熟悉，那是因为确实如此。在过去的五年左右时间里，数据科学团队在他们的机器学习算法和应用程序中遇到了所有这些问题。
这是一个痛苦的经历。2020年，Gartner报告称，只有53%的机器学习项目从原型进入生产阶段，而这还是在具有一定AI经验的组织中。对于仍在努力发展数据驱动文化的公司来说，这个数字可能要高得多，一些失败率估计甚至达到近90%。
作为曾在纽约时报领导数据团队并遇到许多这些挑战的人，我可以证明组织结构、流程和平台对于这些举措的成功是多么重要。
我还与各种规模和行业的数百名数据领导人交谈过，他们表达了一套共同的经验教训。这些最佳实践是通过数据科学团队付出的血、汗和泪水获得的，对于每个考虑长期Gen AI战略和团队结构的数据领导人来说，它们应该是首要考虑的。
第一课：了解结构权衡和成熟度曲线
就像你不能没有训练就醒来去跑马拉松一样，你的组织在强化其运营肌肉之前，无法创建一个与领先的数据团队相似的Gen AI组织结构。
在这方面，我见过的最常见的错误之一是在急于分散和嵌入到公司内部（可能是在数据网格内）时，过度拉伸人才潜力池。虽然你可以更好地了解和接近业务，但持续的价值创造是困难的。
可能会有一些成功的领域，但这些往往与一两个自我激励者的才华联系在一起，而且是依赖于这些才华的。数据科学人才稀缺，而能够独立识别、优先处理、沟通和执行高价值项目的高级数据科学人才更加罕见。
当这些有才华的人离开时，机构知识、代码库和项目势头往往也随之消失。他们幸存的团队成员被迫扮演考古学家的角色，试图辨别这些被放弃项目留下的工具的目的和含义。大多数情况下，从几乎零开始重新启动。
咨询模型通常对于较小的数据科学和机器学习团队来说是一种更成功的方法。这样可以集中才华横溢的人才，致力于最优先的项目。要注意的潜在风险是，您希望防止卓越中心成为一个只生产教授喜欢但与业务挑战不符的黄金模型的实验室。
随着团队规模的扩大和成熟度的提高，稍微不同的组织结构变得更加合适。”专业化”模式通常会将数据科学和机器学习资源集中在几个高价值的问题上，并在相关业务领域内部署团队。
当机器学习是产品的核心部分（例如个性化或欺诈检测）时，与产品或工程团队的关联比与核心数据团队的关联更加重要。通常，核心数据团队在数据科学方面有自己的投资，与专业化团队大致独立。
这种模式可能会取得成功，但也会造成低效和信息孤立。例如，中心团队和专业化团队通常会有定制的平台，共享服务很少。产品领域内的流式事件数据可能会从中心团队收集的定制数据的丰富中受益，但可能永远无法建立连接。
另一种后期组织结构可以被描述为”平台”模型。嵌入和专业化模型可能在业务领域之间缺乏可见性和凝聚力，尽管解决的问题类型在领域之间存在固有的相似性，但对每个数据科学问题都使用自己的全栈解决方案。
解决方案是在与业务领域或垂直领域之间创造一些明确的分离，以避免过度拟合其运营模型，就像您对其他水平平台团队所做的那样。
将机器学习视为平台追求的主要好处之一是，一旦您证明了每个机器学习应用的价值，它就能够投资于共享平台基础设施，从而降低部署和维护新应用程序的资源和成本。这种投资最初应该相对较小，相对于应用团队的投资来说，让它们能够相对独立地运作并追求与业务伙伴的长期目标。
在这种平台模型中，可以创建一个GenAI团队作为应用团队之一，授权其工程资源根据需要定制其堆栈以提供价值，同时与其他平台团队协调，以重用基础设施和标准，为组织提供持续的价值。我强烈推荐这种模型，而不是尝试将Gen AI分散到许多团队中。关键质量是很重要的。
课程2：按用例而不是按业务功能组织
最近，我与一家媒体公司的数据负责人进行了一次对话，这也是本文的灵感来源。他们告诉我，他们的数据科学团队是按领域（在这种情况下是媒体属性）组织的。
数据科学团队在每个领域内都在处理相同类型的项目，即文章推荐算法。毫无疑问，每个领域都从对其特定问题的专注关注中受益，每个数据科学团队都从与其各自的业务和编辑合作伙伴的紧密联系中受益。但这种组织结构的一些不足之处凸显了出来：人才的低效部署以及尽管许多团队解决相同类型的内容排序问题，但缺乏共享基础设施。
在纽约时报，我们发现围绕共同问题组织我们的数据科学团队非常有效。一旦在一个领域中证明了该模型的有效性，通常更有效地对其进行调整和修改，以适应另一个领域的独特输入和约束，而不是让两个团队同时创建两个模型。从逻辑的角度来看，这是有道理的，原型的建立总是比后续产品需要更多的时间。
Gen AI也应该以同样的方式考虑。让一个团队专注于适用于该技术的高价值用例，例如为事件市场提供个性化座位建议，或为媒体站点提供语言本地化，然后将该解决方案应用于其他有意义的领域。
课程3：专注于长期价值和难题
在技术和数据领域，“长期”具有独特的含义，其中首席数据官的平均任期与一罐花生酱的保质期大致相同。
当项目结束时，目标是否仍然是一个问题？在未来五年内，该需求是否仍然存在，以便新模型可以进行迭代并找到额外的价值？
事实上，假设您不是使用现成的模型，机器学习和通用AI项目可能会很昂贵（尽管LLM正在快速成为商品）。开发一个经过良好训练和管理的模型以适应某个用例可能需要几个月，甚至几年。
与其他替代方案相比，提升效果应该更值得。例如，设计用于优化Facebook广告支出的机器学习模型可能听起来很有吸引力，直到您意识到这在广告平台内部原生完成。
也就是说，关注长期价值并不意味着创建一个时间表，首次发布计划在2025年。
第四课：将AI团队与业务赞助商合作
那么，如何确保您的数据科学和生成AI团队专注于重要的业务问题？让他们与业务赞助商合作。
寻找新技术的创新应用很可能不是一条线性的旅程，应该预期会有一些弯路。与业务赞助商建立强大的合作伙伴关系，可以确保团队在探索前沿问题时不会偏离业务价值。我发现这也扩大了团队的视野，超越了团队之间的问题。
一个强大的业务赞助商还将在团队的旅程中为他们提供充足的资源，并帮助解决涉及内部流程或政治的任何困难。其中一部分导航可能需要协调团队之间的路线图，以提供一个一致的后端和前端体验。
由于这些项目可能跨越几个季度，高管的参与也至关重要，以确保这些项目不会过早终止。
第五课：了解数据平台的先决条件
构建构建机器的机器总是比生产最终产品更困难。无论是汽车工厂还是用于开发和生产大型语言模型的数据平台，这都是真实的。
业务领导者始终将业务目标放在首位，并经常忽视实现这一目标所需的数据平台投资。他们并不是存心要坏事，他们只是依赖您作为数据专家告诉他们所需的内容。
例如，机器学习团队已经投资于构建或购买特征存储和MLops解决方案。更不用说对云数据环境、数据质量和周边功能的基础投资了。
对于通用AI项目，许多数据平台和数据流水线架构仍将保持不变（如果您尚未投资于现代数据堆栈，那将是起点）。您不能没有可发现的高质量数据来进行通用AI项目。然而，还将有一些额外的解决方案，这些解决方案特定于LLM工程，如模型托管、缓存、AI代理框架等，甚至还有很多尚未发明的。
从过去学习或重复
毫无疑问，通用AI是一项颠覆性的技术，学会大规模利用它将产生一系列痛苦的教训。但是，没有必要从头开始。为了长期成功，结构化您的数据科学和通用AI团队。
本文与Michael Segner共同撰写。
关注我的VoAGI，了解更多关于数据领导力、数据科学应用和相关主题的故事。订阅以获取我的故事直接送到您的收件箱。
