数据污染和模型崩溃:即将到来的人工智能灾难

时尚美容专家探讨:AI崩溃和数据污染的潜在风险

生成式人工智能工具(如ChatGPT)似乎过于美好以至于难以置信:只需提供简单的提示,平台就可以生成相应的文本(或图像、视频等)。

在幕后,ChatGPT及其类似工具利用了大量的互联网数据作为训练数据,这也是“大型语言模型”(LLM)这一技术名称的由来。

然而,生成式人工智能也有其缺点。它更注重合理性而非真实性,经常生成一些胡说八道的内容(详见我最近撰写的关于胡说八道的文章)。

然而,生成式人工智能的不真实性并非其唯一缺点。由于生成式人工智能非常擅长创建具有合理性的内容,人们会将其上传至互联网,这意味着下一次生成式人工智能模型使用互联网进行训练时,它将利用越来越多的人工智能生成数据。

然而,这种类似于蛇吞尾巴的反馈循环是一个问题,因为它会导致模型崩溃和数据污染。考虑到目前无法有效防止这些问题,这种循环可能使得大部分或所有人工智能都无法使用。

我们来仔细看看。

模型崩溃和数据污染

模型崩溃是指人工智能模型在训练时使用人工智能生成的内容。这是一个过程,其中生成的数据中的微小错误或偏见会在每个周期中累积,最终将模型引导到远离基于原始数据分布的推理。

换句话说,模型最终会完全遗忘原始数据,并生成无用的噪声。

数据污染是一种相关但不同的过程。数据污染是一种网络攻击类型,恶意行为者有意在训练数据集中引入误导性信息,以导致模型生成糟糕的结果,或者实际上是满足恶意行为者意图的任何结果。

2016年微软的Twitter聊天机器人Tay被攻击的事件就是一个熟悉的数据污染例子。用户向聊天机器人发送了冒犯性的推文,从而训练Tay采取敌对态度。

虽然模型崩溃和数据污染是不同的问题,但它们的交叉重叠尤为不祥。如果恶意行为者使用人工智能生成有毒数据,意图导致模型崩溃,他们很可能在未被察觉的情况下实现他们邪恶的目标。

公共数据集的问题

人们随时都在对网络进行数据污染。或许您甚至也这么做过。只需要将任何人工智能生成的内容发布到互联网上,您就能完成这个邪恶的行为。

事实上,数据污染可以是有意的,也可以是无意的。虽然有意的数据污染是一种网络威胁,但无意的污染在网上、社交媒体、企业内网、Slack频道以及其他任何人们可能发布人工智能生成内容的地方都在持续发生。

事实上,模型崩溃并不是污染网络的唯一不良结果。任何搜索引擎也是一个目标。

搜索引擎在LLM出现之前就一直在爬取网络。但是现在,一次谷歌搜索的结果中多大比例是由人工智能生成的内容呢?可能目前由人工智能生成的搜索结果的比例相对较低,但这个比例将会随着时间的推移而不断增加。如果这一趋势继续下去,搜索引擎将变得越来越没用,因为它们只会显示污染的内容,而借助同样内容进行训练的LLM模型必然会崩溃。

合成污染:人工智能的芬太尼

数据污染可能是有意的,也可能是无意的,但还存在第三种可能性:合成训练数据。

在某些情况下,使用真实数据集进行LLM训练是不现实的,例如这些数据集包含了诸如健康记录之类的敏感信息。

相反,人工智能专家利用人工智能创建了合成数据集,这些数据集在所有方面都类似于真实数据集,只是不包含所讨论的敏感信息。

然而,由于是人工智能创建合成数据,存在一种风险,即训练合成数据创建模型的数据集中也包括了人工智能生成的数据,从而建立了导致模型崩溃的恶性反馈循环。

如何解决数据污染/模型崩溃问题

解决该问题的最明显方案是最不切实际的。当然,我们可以禁止人们在线发布由人工智能生成的内容或使用它来训练我们的模型。然而,对此类禁令的执行将是不可能的。

我们还可以改进我们的人工智能模型,使其能够识别由人工智能生成的内容并将其排除在训练算法之外。然而,这种解决方案也是不切实际的,因为欺骗人工智能生成内容检测工具的技术似乎比工具本身的发展更快。最多只能一部分时间起作用,但通过的有毒数据将仍然会导致模型崩溃。

考虑到相关技术的现状,最佳解决方案是避免在公共或由人工智能生成的合成数据上训练模型。换句话说,组织必须仔细策划其训练数据集,只选择可以验证的“原始”源数据集,并排除人工智能生成的数据。

在今天的网络上训练LLM已经过时了。要安全使用网络的唯一方式是仅使用早于生成式AI出现的页面。难怪互联网档案馆的下载量如此飙升。

合成数据是一个更棘手的问题。组织确实可以在不使用人工智能的情况下创建合成数据(多年来一直在这样做),但然后他们将面临一直存在的诸如引入人为错误和偏见的问题。

也许,如果合成数据创建模型的训练数据本身利用仅包含所有人工智能生成内容的精心策划的数据集,合成数据可以避免数据污染/模型崩溃问题。

Intellyx观点

我们可以将生成式人工智能视为行为类似于抗生素的物质:即使在首次出现时是神奇的药物,但随着抗药性的增加,它们变得越来越有问题,最终完全失效。

或许,我们应该将公共数据集(如万维网)视为有限资源,尽管它的规模和不可阻挡的增长是难以理解的。

人工智能生成内容的存在将像瘟疫一样蔓延,污染搜索结果,并导致依赖此类公共信息进行训练的人工智能模型崩溃。

好消息是策划可以是一个可行的解决方案 – 实际上,许多生成式人工智能的商业应用已经依赖于策划内容。

然而,这种策划需要持续的警惕。仅仅因为组织仅使用公司数据作为其训练数据的来源而认为其免于模型崩溃可能会导致一种不合理的安全感。

在没有仔细监控和管理的情况下,即使是经过精心策划的数据集也可能无意中包含由人工智能生成的内容。对抗这种安逸感的良药就是持续的警惕。