SimPer：简单的自监督学习周期目标
SimPer：简单的自监督学习周期目标
由谷歌的Daniel McDuff（高级研究科学家）和Yuzhe Yang（学生研究员）发布
从周期性数据（如心跳或地球表面日常温度变化等重复信号）中学习对于许多现实世界的应用至关重要，从监测天气系统到检测生命体征。例如，在环境遥感领域，通常需要周期性学习来实现环境变化的即时预测，如降水模式或地表温度。在健康领域，从视频测量中学习已经显示出能够提取（准）周期性的生命体征，如心房颤动和睡眠呼吸暂停。
RepNet等方法强调了这些任务的重要性，并提出了一种解决方案，可以在单个视频中识别重复活动。然而，这些是需要大量数据的监督方法，需要标记所有重复行为的次数。标记此类数据通常具有挑战性且资源密集，需要研究人员手动捕捉与所关注的模态（例如视频或卫星图像）同步的金标准时态测量。
相反，自监督学习（SSL）方法（如SimCLR和MoCo v2）利用大量无标签数据来学习捕捉周期性或准周期性时间动态的表示，已经在解决分类任务方面取得了成功。然而，它们忽视了数据中固有的周期性（即能够识别帧是否属于周期性过程的能力），并且无法学习捕捉周期性或频率特征的稳健表示。这是因为周期性学习具有与当前学习任务不同的特征。
 |
| 在周期性表示的上下文中，特征相似性与静态特征（如图像）不同。例如，通过短时间延迟或反转的视频应该与原样相似，而通过因子x上采样或下采样的视频应该与原样相差因子x。 |
为了解决这些挑战，在第11届国际学习表示会议（ICLR 2023）上发表的《SimPer：简单的自监督周期目标学习》中，我们引入了一种自监督对比框架，用于学习数据中的周期信息。具体而言，SimPer利用周期性无关和周期性相关增强从同一输入实例中获得正样本和负样本。我们提出了周期性特征相似性，明确定义了如何在周期性学习的上下文中衡量相似性。此外，我们设计了一种广义对比损失，将经典的InfoNCE损失扩展为软回归变体，使其能够在连续标签（频率）上进行对比。接下来，我们证明了与最先进的SSL方法相比，SimPer能够有效地学习周期特征表示，突出了其引人注目的特性，包括更好的数据效率、对假相关性的稳健性和对分布转移的泛化能力。最后，我们很高兴将SimPer代码库与研究社区共享。
SimPer框架
SimPer引入了一种时间自对比学习框架。通过周期性无关和周期性相关增强从同一输入实例中获得正样本和负样本。对于时间视频示例，周期性无关的变化包括裁剪、旋转或翻转，而周期性相关的变化涉及增加或减少视频的速度。
为了明确定义周期性学习上下文中如何衡量相似性，SimPer提出了周期性特征相似性。这种构造使我们能够将训练形式化为对比学习任务。模型可以通过无标签数据进行训练，如果需要，可以进行微调以将学到的特征映射到特定的频率值。
给定一个输入序列x，我们知道存在一个相关的周期性信号。然后，我们通过转换x来创建一系列速度或频率变化的样本，这些变化会改变底层的周期目标，从而创建不同的负视图。虽然原始频率是未知的，但我们有效地为未标记的输入x设计了伪速度或频率标签。
传统的相似度度量方法（如余弦相似度）强调两个特征向量之间的严格接近，并对索引偏移的特征（表示不同的时间戳）、反转的特征和频率变化的特征敏感。相反，周期特征相似性应该对具有小的时间偏移或反转索引的样本高，并在特征频率变化时捕捉连续的相似性变化。可以通过频域中的相似度度量（如两个傅里叶变换之间的距离）来实现这一点。
为了利用频域中增强样本的内在连续性，SimPer设计了一种广义对比损失，将经典的InfoNCE损失扩展为软回归变体，使其能够对连续标签（频率）进行对比。这使其适用于回归任务，其中目标是恢复连续信号，例如心跳。
 |
| SimPer通过频域中的变换构建数据的负视图。输入序列x具有一个相关的周期信号。SimPer将x转换以创建一系列速度或频率改变的样本，从而改变了基础周期目标，从而创建不同的负视图。虽然原始频率是未知的，但我们有效地为无标签输入x（周期性变体增强τ）设计了伪速度或频率标签。SimPer采用不改变输入标识的变换，并将其定义为周期性不变的增强σ，从而创建样本的不同正视图。然后，它将这些增强视图发送到提取相应特征的编码器f。 |
结果
为了评估SimPer的性能，我们将其与最先进的SSL方案（如SimCLR、MoCo v2、BYOL、CVRL）在人类行为分析、环境遥感和医疗保健等常见实际任务的六个不同周期学习数据集上进行了对比。具体而言，下面我们展示了心率测量和视频中的运动重复计数的结果。结果表明，SimPer在所有六个数据集上优于最先进的SSL方案，凸显了其在数据效率、对噪声相关性的鲁棒性和对未见目标的泛化能力方面的卓越性能。
这里我们展示了使用SimPer在各种SSL方法上进行预训练并在标记数据上进行微调的两个代表性数据集的定量结果。首先，我们使用Univ. Bourgogne Franche-Comté Remote PhotoPlethysmoGraphy（UBFC）数据集对SimPer进行预训练，该数据集是一个人类光电容积图和心率预测数据集，并将其性能与最先进的SSL方法进行比较。我们观察到SimPer优于SimCLR、MoCo v2、BYOL和CVRL方法。在人类动作计数数据集Countix上的结果进一步证实了SimPer相对于其他方法的优势，因为它明显优于有监督基线。有关特征评估结果和其他数据集上的性能，请参阅论文。
 |
| SimCLR、MoCo v2、BYOL、CVRL和SimPer在Univ. Bourgogne Franche-Comté Remote PhotoPlethysmoGraphy（UBFC）和Countix数据集上的结果。心率和重复计数性能以平均绝对误差（MAE）报告。 |
结论和应用
我们提出了SimPer，一种自监督对比学习框架，用于学习数据中的周期性信息。我们证明通过结合时间自对比学习框架、周期性不变和周期性变化的数据增强，以及连续周期特征相似性，SimPer为学习周期信号的强特征表征提供了直观且灵活的方法。此外，SimPer可以应用于从环境遥感到医疗保健等各个领域。
致谢
我们要感谢Yuzhe Yang，Xin Liu，Ming-Zher Poh，Jiang Wu，Silviu Borac和Dina Katabi对这项工作的贡献。
