这篇人工智能论文介绍了稳定签名:一种结合图像水印和潜在扩散模型的主动策略

This paper introduces Stable Signatures an active strategy combining image watermarking and latent diffusion models.

最近发展的生成模型和自然语言处理使得逼真图像的创建和操作变得简单,使用诸如DALL’E 2和Stable Diffusion等工具。虽然生成AI的这一进展令人兴奋,但它也引发了对逼真视觉信任的新担忧。

取证学,或用于识别计算机生成或修改的照片的不显眼技术,是一个良好的起点。然而,现有的水印技术可以被叠加在图像创建过程之上。它们的工作原理是在图像中嵌入一个不可见的秘密信息,然后用于验证其真实性。但是,这种方法存在一些问题:

  • 后期生成的水印在模型泄露或开源的情况下很容易删除。
  • 水印可以通过简单地注释掉一行代码来从Stable Diffusion等开源项目中删除。

最近由Meta AI、Centre Inria de l’Universite de Rennes’和Sorbonne University进行的研究通过无缝地将水印嵌入到生成过程中,而不改变底层架构。预训练的生成模型被修改,以确保所有生成的图像成功地遮盖指定的水印。

这种方法具有许多优势:

  • 生成器及其输出都得到保护。它还使水印处理更加轻量、简单和安全,因为不需要对创建的图像进行额外处理。
  • 模型提供者可以将其模型分发给多个用户组,每个组都有不同的水印,并检查它们是否被合法使用。
  • 此外,媒体组织可以使用其AI来识别图像是否是计算机生成的。

由于其灵活性,研究团队使用了潜在扩散模型(LDM)。本研究证明了只需进行少量生成模型微调就可以在所有生成的图像中原生嵌入水印。Stable Signature不改变扩散过程,也不需要对底层架构进行更改。因此,它适用于许多不同类型的基于LDM的生成技术。微调过程包括使用水印提取器的感知图像损失和隐藏信息损失重新训练LDM解码器。为了准备提取器的工作,他们使用了简化版本的深度水印技术HiDDeN进行预训练。

研究人员还构建了一个真实的测试平台,用于评估图片编辑应用程序。其中包括AI图像检测和模型渊源跟踪等任务。例如,即使将模型生成的图像裁剪到其原始大小的10%,研究人员仍然可以在每106张照片中只有一个误报的情况下检测到90%的图像。他们展示了生成的FID分数不受影响,并且生成的图像在多种与LDM相关的任务(文本到图像、修复、编辑等)中在感知上与原始模型产生的图像相同,从而确保了模型的持续实用性。

通过这项工作,研究人员展示了水印技术在被动检测技术上的优势。他们希望激励其他研究人员和专业人士在将其模型发布给公众之前采取类似的措施。