“无需重新培训即可改变模特的记忆形态”

让模特记忆形态转变,无需重新培训

| AI | 大型语言模型| 机器遗忘|

消除大型语言模型所学习的任何有问题内容的痕迹

Drew Saurus拍摄的照片,来自Unsplash

“原谅是智慧,忘记是天才。” – Joyce Cary

大型语言模型(LLM)已经在世界范围内引起了轰动。不到一年的时间,它们已经无处不在,并且现在被数以百万计的用户使用。这些模型通常是使用大量的文本进行训练的(包括有问题的材料和敏感数据)。如何使一个模型遗忘?同样的方式,能够存储全部人类知识的方式?

学习如何遗忘

Paul Pastourmatzis拍摄的照片,来自Unsplash

大型语言模型既是我们成就的证明,也是我们面临的挑战的见证 – 来源

大型语言模型通过学习大量文本并辨别语言模式和文化细微之处,令用户和研究者惊讶。虽然它们可能成为新应用和科学革命的基础,但它们也有着黑暗的一面。

必须使用大量的语料库来训练这些模式。虽然使用的数据量越大,LLM的性能就会越好,但是收集这些数据是昂贵的。为了限制成本,通常会进行对互联网的非选择性抓取数据。因此,这些语料库也包含着极具问题的数据:受版权保护的文本、有毒或恶意数据、不准确或虚假内容、个人数据等等。

图片来源:此处

机器遗忘:遗忘的责任

如何以及为何从AI模型中删除数据点信息的重要性

towardsdatascience.com