遇见TALL：一种AI方法，将视频剪辑转化为预定义布局，实现空间和时间依赖性的保留

TALL an AI method that converts video editing into predefined layouts, preserving spatial and temporal dependencies.

这篇论文的主题是开发一种用于检测深度伪造视频的方法。深度伪造视频是利用人工智能使某人似乎在说或做他们没有说或做的事情的篡改视频。这些篡改视频可能被恶意使用，对个人的隐私和安全构成威胁。研究人员试图解决的问题是检测这些深度伪造视频。

现有的视频检测方法计算密集且需要提高其泛化能力。研究团队提出了一种简单而有效的策略，名为“缩略图布局（TALL）”，它将视频剪辑转化为预定义的布局，以保留空间和时间依赖关系。

空间依赖性：这指的是附近或相邻的数据点比远离的数据点更可能相似的概念。在图像或视频处理的上下文中，空间依赖性通常指图像或帧中像素之间的关系。

• 剑桥大学和加州大学洛杉矶分校的研究人员推出了DC-Check：一种新的数据中心人工智能检查清单式框架，用于指导可靠机器学习系统的开发
• 大型语言模型（LLM）（如ChatGPT）为何在微调时使用强化学习而不是监督学习的5个原因
• 揭示物理感知神经网络的设计模式：第07部分

时间依赖性：这指的是当前数据点或事件受到过去数据点或事件的影响的概念。在视频处理的上下文中，时间依赖性通常指视频中帧之间的关系。

研究人员提出的这种方法是模型无关且简单，只需要对代码进行少量修改。作者将TALL与Swin Transformer结合起来，形成了高效且有效的方法TALL-Swin。论文包括广泛的内部数据集和跨数据集实验，以验证TALL和TALL-Swin的有效性和优越性。

关于Swin Transformer的简要概述：微软的Swin Transformer是一种视觉Transformer，是在图像识别任务中取得成功的模型类别。Swin Transformer专门设计用于处理图像中的分层特征，这对于目标检测和语义分割等任务可能是有益的。为了解决原始ViT存在的问题，Swin Transformer包括了两个关键思想：分层特征图和平移窗口注意力。通过分层特征图，可以将Swin Transformer应用于需要细粒度预测的情况。今天，各种各样的视觉任务通常使用Swin Transformer作为其主干架构。

论文中提出的缩略图布局（TALL）策略：掩蔽：第一步是在每个帧的固定位置掩盖连续的帧。在论文的上下文中，每个帧正在被“掩盖”或忽略，迫使模型专注于未被掩盖的部分，并可能学习到更强大的特征。

调整大小：在掩盖后，将帧调整为子图像。这一步可能降低了模型的计算复杂性，因为较小的图像需要较少的计算资源来处理。

重新排列：然后将调整大小的子图像重新排列成预定义的布局，形成“缩略图”。这一步对于保留视频的空间和时间依赖关系至关重要。通过以特定方式排列子图像，模型可以分析每个子图像内的像素之间的关系（空间依赖）以及随时间变化的子图像之间的关系（时间依赖）。

评估TALL-Swin方法检测深度伪造视频效果的实验：

内部数据集评估：

作者使用FF++数据集在低质量（LQ）和高质量（HQ）视频下将TALL-Swin与几种先进方法进行了比较。他们发现，在HQ设置下，TALL-Swin的性能相当，并且消耗较低。

泛化到未见数据集：

作者还通过在FF++（HQ）数据集上训练模型，然后在Celeb-DF（CDF）、DFDC、FaceShifter（FSh）和DeeperForensics（DFo）数据集上进行测试来测试TALL-Swin的泛化能力。他们发现，TALL-Swin取得了最先进的结果。

显著性图可视化：

作者使用Grad-CAM来可视化TALL-Swin关注深度伪造面部的位置。他们发现，TALL-Swin能够捕捉特定方法的痕迹并关注重要区域，如面部和口部区域。

结论：最后，我想总结一下，作者发现他们的TALL-Swin方法对于检测深度伪造视频是有效的，表现出与现有方法相当或更好的性能，对未见数据集具有良好的泛化能力，并且对常见扰动具有鲁棒性。