ChatGPT的指纹：DNA-GPT是一种使用分歧N-Gram分析的GPT生成文本检测方法
ChatGPT已经成为我们日常生活中必不可少的一部分。我们中的大多数人每天都会使用它来解决琐碎的任务，或者获取关于如何解决复杂问题、获取决策建议等方面的指导。更重要的是，AI辅助写作已经成为大多数人的常态，我们甚至已经看到了一些公司用ChatGPT替换其撰稿人的效果。
虽然GPT模型已经证明是有用的助手，但它们也带来了一些挑战，例如虚假新闻和技术辅助抄袭的泛滥。 AI生成的科学摘要欺骗科学家的情况导致了对科学知识的信任损失。因此，检测AI生成的文本看起来将变得至关重要。然而，它并不是一件简单的事情，因为它带来了根本性的困难，而检测方法的进展落后于AI本身的快速发展。
现有的方法，例如基于扰动的方法或基于排名/熵的方法，在没有提供令牌概率的情况下（如ChatGPT的情况）经常失败。此外，强大的语言模型开发缺乏透明度，也带来了额外的挑战。为了有效地检测GPT生成的文本并匹配LLM的进展，迫切需要一个强大的可解释的检测方法，能够适应连续的更新和改进。
- 如何像老板一样进行MLOps：无痛机器学习指南
- Google AI 推出了一种新的安全 AI 框架（SAIF）：确保 AI 系统安全的概念框架
- 认识Video-LLaMA：一种多模式框架，赋予大型语言模型（LLMs）理解视频中视觉和听觉内容的能力
因此，目前需要一种强大的AI生成文本检测方法。但是，我们知道LLM的进展速度比检测方法更快。那么，我们该如何提出一种能够跟上LLM进展的方法？是时候见识一下DNA-GPT。
DNA-GPT解决了两种情况：白盒检测，其中有模型输出令牌概率的访问权限，以及黑盒检测，其中没有此类访问权限。通过考虑这两种情况，DNA-GPT旨在提供全面的解决方案。
DNA-GPT建立在这样的观察之上：LLMs倾向于解码来自前几代的重复n元组，而人类编写的文本则不太可能被解码。理论分析关注AI生成文本的真正阳性率（TPR）和假阳性率（FPR）的可能性，这为当前关于可检测性的辩论增加了一个正交的视角。
假设每个AI模型都拥有其独特的DNA，可以通过生成可比较的n元组或概率曲线的形状来体现。然后，检测任务被定义为一个二元分类任务，其中给定一个文本序列S和一个特定的语言模型LM（如GPT-4），目标是分类S是由LM生成还是由人类编写的。
DNA-GPT是一种针对由GPT模型生成的文本的零-shot检测算法，适用于黑盒和白盒场景。算法的有效性使用五种最先进的LLMs在五个数据集上进行了验证。此外，该检测方法还提供了模型来源的功能，可以确定用于文本生成的特定语言模型。最后，DNA-GPT包括提供检测决策的可解释证据的规定。
