生成式人工智能：第一稿，不是最终稿
生成式人工智能：初稿非终稿
作者：Numa Dhamani & Maggie Engler
可以说人工智能正处于高潮时刻。自从去年年底 OpenAI 的对话代理 ChatGPT 意外走红以来，科技行业一直在谈论 ChatGPT 背后的大型语言模型（LLMs）技术。谷歌、Facebook、微软以及 Anthropic 和 Cohere 等资金雄厚的初创公司都推出了自己的 LLM 产品。各个领域的公司纷纷加快整合 LLMs 到他们的服务中：仅 OpenAI 就拥有从金融科技公司如 Stripe 提供客服聊天机器人服务、到教育科技公司如 Duolingo 和 Khan Academy 提供教育资料、再到视频游戏公司如 Inworld 利用 LLMs 为非玩家角色（NPC）提供对话。得益于这些合作伙伴关系和广泛采用，据报道 OpenAI 正在努力实现每年超过十亿美元的收入。这些模型的动力表现让人印象深刻：OpenAI 最新的 LLMs，即 GPT-4 的技术报告显示，该模型在包括律师考试、SAT、LSAT、GRE 以及艺术史、心理学、统计学、生物学和经济学在内的各个学术和专业评估中都取得了令人印象深刻的成绩。
这些夺人眼球的结果可能暗示着知识工作者的终结，但是 GPT-4 和人类专家之间存在一个关键区别：GPT-4 没有理解能力。GPT-4 和所有的 LLMs 生成的回答并不是从逻辑推理过程中得出的，而是通过统计操作得出的。大型语言模型是基于互联网上海量数据进行训练的。网络爬虫——访问数百万个网页并下载其内容的机器人——会产生各种网站的文本数据集，包括社交媒体、维基和论坛、新闻和娱乐网站。这些文本数据集包含数十亿或数万亿的词，这些词大多以自然语言排列，形成句子，句子形成段落。
为了学习如何生成连贯的文本，模型通过在数百万个文本补全示例上对自身进行训练。例如，给定模型的数据集可能包含类似以下句子的例子：“It was a dark and stormy night.”、“The capital of Spain is Madrid.” 模型一遍又一遍地尝试预测在看到 “It was a dark and” 或 “The capital of Spain is” 后的下一个单词，并检查其是否正确，每次错误时都进行更新。随着时间的推移，模型在这个文本补全任务上变得越来越好，对于许多上下文而言（特别是当下一个单词几乎总是相同的情况下，比如 “The capital of Spain is”），模型认为最有可能的回答是人类所谓的“正确”回答。在下一个词可能是数个不同的情况的上下文中，比如 “It was a dark and”，模型会学会选择人类认为至少是合理选择的词，比如 “stormy”，而不是 “sinister” 或 “musty”。LLM 的这个阶段，即在大型文本数据集上自我训练的过程被称为预训练。对于某些上下文而言，仅仅预测下一个单词可能无法产生所期望的结果；模型可能无法理解，对于像 “写一首关于狗的诗” 这样的指令应该以一首诗而非继续进行下一步指令。
然而，LLMs 被训练为通过预测可能的下一个单词来生成文本的任务本身导致了一种被称为错觉的现象，这是一个被充分记录的技术陷阱，LLMs 在提示时会自信地虚构不准确的信息和解释。LLMs 能够预测和完成文本的能力基于训练过程中学到的模式，但当面临不确定或多种可能的完成时，LLMs 会选择似乎最有根据的选项，即使它完全没有现实依据。
例如，谷歌推出其聊天机器人 Bard 时，在其首次公开演示中出现了事实错误。Bard “臭名昭著地宣称”詹姆斯·韦伯太空望远镜（JWST）“首次拍摄到了我们太阳系之外的行星。”但事实上，2004 年 Very Large Telescope (VLT) 首次拍摄了一个系外行星的图像，而 JWST 直到 2021 年才发射。
幻觉并不是LLM的唯一缺陷 – 大量互联网数据的培训也直接导致偏见和版权问题。首先，让我们讨论偏见，这指的是模型在个人身份属性（如种族、性别、阶级或宗教）方面产生不一致的输出。鉴于LLM从互联网数据中学习特征和模式，它们也不幸地会继承人类的偏见、历史不公正和文化联系。尽管人类有偏见，但LLM更糟糕，因为它们倾向于放大训练数据中存在的偏见。对于LLM而言，男性是成功的医生、工程师和首席执行官，女性是支持性的、美丽的前台接待员和护士，LGBTQ人群则不存在。
用难以想象的互联网数据训练LLM还引发了版权问题。版权是对创作作品的独占权，版权持有者是唯一有权复制、分发、展览或演出作品的实体，持续一定时期。
目前，关于LLM的主要法律问题并不集中在其输出的可版权性上，而是关于艺术家和作家的现有版权是否会受到侵犯，因为他们的作品对LLM的训练数据集做出了贡献。《作者公会》已呼吁OpenAI、谷歌、Meta和微软等公司同意、给予作者应有的回报，并为在LLM的训练中使用受版权保护材料的作家署名。一些作者和出版商也已经采取了行动。
LLM开发者目前正面临一些与版权相关的诉讼 – 喜剧演员和演员Sarah Silverman和一些作者和出版商一起对OpenAI提起了诉讼，声称他们从未授权将其受版权保护的书籍用于LLM的训练。
虽然与幻觉、偏见和版权有关的担忧是LLM的最为重要的问题之一，但它们并不是唯一的担忧。举几个例子，LLM可以编码敏感信息，产生不受欢迎或有害的输出，并可能被敌对方利用。毫无疑问，LLM在生成连贯且上下文相关的文本方面表现出色，并且肯定可以在许多任务和场景中利用它们来提高效率和其他好处。
研究人员也在努力解决其中一些问题，但如何最好地控制模型的输出仍然是一个开放的研究问题，因此现有的LLM远非完美无缺。它们的输出应始终进行准确性、事实性和潜在偏见的检查。如果你得到一个看起来太好以至于难以置信的输出，应该引起你的警觉，小心进一步审查。验证和修订从LLM生成的任何文本的责任在用户身上，或者正如我们所说，生成型AI：它是你的初稿，而不是最终版本。
Maggie Engler是一位工程师和研究员，目前致力于大型语言模型的安全工作。她专注于将数据科学和机器学习应用于在线生态系统中的滥用问题，并且是网络安全和信任与安全领域的专家。Maggie是一位敬业的教育者和传播者，担任德克萨斯大学奥斯汀分校信息学院的副教授。
[Numa Dhamani](https://www.linkedin.com/in/numadhamani/)是一位工程师和研究员，致力于技术与社会的交叉领域。她是自然语言处理领域的专家，具有影响力操作、安全和隐私领域的专业知识。Numa为财富500强公司和社交媒体平台开发了机器学习系统，也为初创公司和非盈利组织提供了服务。她曾为公司和组织提供咨询，担任美国国防部研究计划的首席研究员，并为多个国际同行评议期刊做出了贡献。
