在生成式人工智能时代发展数据职业
Developing data careers in the era of generative artificial intelligence.
提高对学习三个基本数据概念的认识
作为一名数据专业人士，我对生成式人工智能领域的最新发展感到非常惊讶。
尽管有人将其称为炒作，并迅速将其视为另一种技术趋势，但其他人确信它将带来重大变革。
无论您支持哪一派，都很难忽视生成式人工智能对教育和工作未来带来的变革可能性。
为了支持这一观点，足以提到哈佛大学将于今年秋季（2023年秋季）在课堂上引入人工智能聊天机器人，以实现一对一的师生比例。学生将使用哈佛开发的聊天机器人引导他们找到解决方案，而不是直接提供答案。
对我来说，这清楚地表明哈佛正在引发新一代学习和工作方式的变革浪潮。
也就是说，生成式人工智能不仅仅是一种过时的趋势，我们需要开始找到一种适应它的工作环境。
尽管我对生成式人工智能持乐观态度，但我从未有过如此强烈的FOMO感。
换句话说，虽然我在过去的12年中从事过各种数据角色，并且掌握了机器学习的知识，但我无法跟上生成式人工智能领域的新发展。
新术语，提示工程的概念，新的大型语言模型的开发，基于它们构建的众多应用和解决方案，新的在线学习课程以及关于这个主题的大量帖子 – 所有这些 都是 令人不知所措的。
此外，我无法摆脱一种不安的感觉，即我的一些数据技能现在已经过时了。
我的商业同事将用几个按键取代我辛苦学来的查询技能，这让我感到害怕。
然而，仔细一想，我不介意一些（但只是一些）我的技能被取代的事实。每周执行临时查询以回答相同重复的商业问题从来就不是我喜欢做的事情。
除此之外，我还意识到，“我”处于存储在数据仓库中的数据和生成商业洞见之间，这减缓了决策过程。
我还意识到，这种过渡，即我的替代，不会一夜之间发生。
首先，需要调整当前的开发环境，使其更加“用户友好”，而不是“开发者友好”。
其次，业务用户需要对“中心”背后的技术有一定的理解。从自然文本输入中生成分析洞见的自由也带来了同样的问题。
例如，洞见生成速度慢、洞见生成不正确、洞见丰富度没有新的输入（新的数据源）以及洞见质量检查的技术过程仍然存在。
而且某人仍然需要处理和“修复”这些问题，为业务用户提供帮助。
换句话说，生成式人工智能无法轻易替代基本的数据知识。
那么，“基础”数据知识是什么意思呢？
为了用上述问题支持我的答案，关键在于三个核心概念：
- 构建数据架构
论点：技术知识和对如何在特定行业设计适当的数据架构的理解至关重要。
让我给您一个来自金融科技行业的例子。
在金融科技行业，存在着严格的法规，即PCI数据安全标准，建立数据平台时需要考虑这些标准。除了这些标准之外，有时还存在市场标准。
例如，在瑞士等地，存在着需要考虑的FINMA法规，以使您的数据平台，从而使您的数据架构符合要求。
当然，法规是容易变化的，这意味着数据架构需要遵循这些变化。这给生成式人工智能带来了真正的挑战。
生成式人工智能可以在一定程度上支持建筑设计和开发。
但是，在法规不断变化的行业中，它无法设计可定制的解决方案。
如果没有经过类似历史案例的训练，它无法应用特定的建筑适应性。
2. 数据质量管理
论点：“垃圾进，垃圾出”这句话始终是准确的，每个在数据领域工作的人都清楚糟糕的数据输入质量的代价。
使用生成式人工智能解决方案，糟糕的输出质量的代价更高。
例如，我需要提到我在《卫报》上读到的最近一篇文章。这是一篇关于一名律师使用ChatGPT提供类似以往法律案例的例子的文章。他想要支持他的论点，解释为什么他的客户对航空公司的诉讼不应被驳回。
我想你已经可以想象出故事的发展：当航空公司的律师核查所引用的决定和法律引文时，他们发现这些决定和引文根本不存在。简而言之，ChatGPT产生了幻觉。
从这篇文章中得出我的结论是，糟糕的数据质量输出可能会让你失去业务，导致项目完全关闭，或失去客户和声誉。
因此，数据专业人士将更加忙于管理数据的输入和输出质量。
3. 数据隐私和安全
论点：作为一名数据专业人员，您了解SQL注入和数据库安全的概念。
随着生成式人工智能的发展和简单的提示使用，数据仓库攻击和数据泄露的情况比以往任何时候都更有可能发生。
提示注入的危险性——例如，某人可能通过一个文本输入删除整个数据库或查找机密记录——需要置于数据安全的核心位置。
这意味着数据和IT专业人员将继续在保护和确保数据安全方面发挥关键作用。
总结：具备基础数据概念知识的数据专业人员将成为工作场所中的“常数”，能够高效地管理数据，识别问题，并优化合规、安全和可靠的解决方案。
这是生成式人工智能无法轻易取代的部分。
因此，如果你是一个年轻的专业人士，想要在生成式人工智能时代发展你的数据职业，首先要学习上述核心概念。
相信我：投入时间和资源来获取基础数据知识将在你的数据职业中获得长期回报。
生成式人工智能将提升你在这些领域的学习曲线和工作表现，但它只能在一定程度上帮助你。关键的工作仍然取决于你和你的知识。
