前三种数据架构趋势(以及LLMs如何影响它们)

Photo by Google DeepMind on Unsplash

去年我发表了一篇关于数据架构趋势的文章。

这是在大型语言模型(LLM)成为风靡一时并影响大多数行业之前。Gartner报告称:“风险投资公司在过去三年中投资了超过17亿美元的生成性AI解决方案。” 毫无疑问,LLM将影响数据架构的大多数领域。

基于此,让我们探讨三个架构趋势以及LLM将如何影响它们。

1. 使用副驾驶进行成本优化

我是一个喜欢帮助最终用户高效完成任务的副驾驶的忠实粉丝。

作为Grammarly的常规用户,我很欣赏它如何加快任何形式内容的编辑过程。类似地,副驾驶将在我们的工作中占据主要地位,包括数据架构。

数据架构师的日常工作包括数据模型设计、制定标准和实施治理结构等方面。像Microsoft这样的副驾驶可以帮助完成电子邮件的句子,根据规范文档创建公告。同样,数据架构师的副驾驶可以根据用户需求和设计约束条件完成实体关系图(ERD)。副驾驶可以与架构师一起工作,帮助加快他们的日常工作流程。

如果生产力开始飙升,公司开始寻找优化成本的方法也就不足为奇了。一些估计可能会影响数千甚至数百万个工作岗位。

例如,管理咨询公司通过寻找效率来帮助组织进行重组和减少间接成本。同样,实施副驾驶将减少人力资源,更多地依赖于基于人工智能的任务完成。例如编写设计文档、按照批准的模式创建数据架构图、创建数据模型和相关的SQL查询、根据批准的标准审核SQL等任务。

副驾驶将带来效率和成本节约!

2. 上下文驱动的分析

我们可能已经通过云解决了存储问题,但我们仍然需要解决上下文问题。

数据本身只是一系列的文本/数字;当你添加上下文时,其价值才能实现。而“数据上下文”是一个价值数十亿美元的行业。

数据上下文包括业务或技术元数据、治理或隐私需求以及可访问性或安全性要求。尽管预计该行业到2028年将翻一番,但我想知道LLM将资本化多少这种增长。例如,使用语义嵌入和向量数据库,组织将能够在不需要实施复杂的数据上下文工具的情况下快速赋予数据上下文。如果我可以使用嵌入来检测异常,那么我是否需要全面的治理框架?这就是LLM进一步优化成本的第一点。

在数据管道、转换和血统中嵌入(意在)人工智能可以帮助构建上下文。这个上下文可以依赖于回答最终用户的分析或监管需求的问题。例如,这些数据是否包含个人信息?如果是的话,在特定的分析用例中将其过滤掉。

Image by Author

该图片说明了上下文层如何捕获信息,就像传统的数据目录一样,只不过它利用了LLM的力量并大大减少了人为干预。

上下文使数据有价值;使用LLM可以更快地实现它。

3. 推出数据架构生态系统

我们厌倦了封闭且不协调的架构。

在这种架构中,治理工具与数据湖不集成,源系统没有考虑到分析,或者存在多个真相来源。

生态系统需要与苹果等消费公司的产品相呼应。一个关键产品以及各种有用的支持性组件,这些组件在个体上很有用,但在集体上则创造了一个令人惊叹的生态系统。一个例子是数据产品市场(iPhone),它显示了来自数据可观察性框架(Watch)的信息,并由单一访问方法(Face ID)进行管理。数据架构将处于一个集成不再是弱点的生态系统中。这将是一个改变游戏规则的因素。

生态系统还将减少分散来源的信息冗余风险(例如,您的iMessages在所有设备上同步)。已经有初创公司正在使用OBT(One Big Table)等概念来进行革新。生态系统还意味着数据定义;标准只需设定一次,然后在每个领域传播,从而降低了复制成本。

例如,一个客户事务表从CRM系统中获取信息;默认情况下,CRM被设计为捕获分析所需的强制字段[1]。一旦数据被转移,它将经过一系列的数据质量检查,以确保其适用于特定目的[2]。一旦转换完成,将捕获对账信息以确保数据未丢失[3]。在使用之前,将其分类到个人数据桶中,并设置适当的治理机制[4]。所有这些过程本身都很重要;然而,当数据最终被产品化时,你可以可视化[1] – [4],从而对该数据产生信任。

结论

如果说现代数据堆栈本身并没有产生过多的炒作,那么现在我们又要应对GenAI的炒作。有趣的是,看看这些趋势在接下来的12-18个月内会如何发展。我预计那些已经在基础上投资的公司将会从这些趋势中获益,并且那些没有投资于数据质量或治理的公司将会不断落后。

所有这些趋势的基础要求是良好的数据。在没有良好的数据的情况下,你无法进行副驾驶、添加上下文或构建有效的数据架构。这是一个很难实现的事情,但同时也是最大的投资回报。

想要了解有关低质量数据影响到撰写数据质量计划案例的一切吗?请查看我的终极数据质量手册:

终极数据质量手册

释放数据的力量:终极数据质量手册是您实现数据卓越的全面指南…

hanzalaqureshi.gumroad.com

如果您尚未订阅小猪AI,请考虑使用我的推荐链接订阅。它比Netflix便宜,而且在客观上更好地利用了您的时间。如果您使用我的链接,我将获得一小笔佣金,您将可以无限制地访问小猪AI上的故事。