使用投影头进行自监督学习
用投影头进行自我监督学习的方法
利用未标记数据提升性能
在本文中，您将了解到自我监督学习及其如何用于提升模型性能，以及投影头在自我监督学习过程中的作用。我们将介绍其直观理解、一些文献以及基于PyTorch的计算机视觉示例。
这对谁有用？ 所有拥有未标记且可增强数据的人。
本文的难度： 本文的开头对初学者来说很容易理解，但示例更加注重中级和高级数据科学家。
先决条件： 对卷积和全连接网络有较高水平的理解。
代码： 可在这里找到完整的代码。
自我监督与其他方法的对比
通常，当人们考虑模型时，会涉及两个阵营：有监督模型和无监督模型。
- 有监督学习 是基于有标签信息训练模型的过程。例如，当训练一个模型来预测图像中是否包含猫或狗时，人们会整理一组带有猫或狗标签的图像，然后使用梯度下降等方法训练模型，使其理解具有猫和狗的图像之间的差异。
- 无监督学习 是通过向某种模型提供未标记的信息，并通过数据的某种转换提取有用的推理。无监督学习的一个典型示例是聚类，即根据局部位置从未分组的数据中提取出信息组。
自我监督学习介于这两者之间。 自我监督使用的标签是通过程序生成的，并非由人类生成。在某种程度上，它像有监督学习，因为模型从带有标签的数据中学习，但从另一方面看，它像无监督学习，因为没有为训练算法提供标签。因此称之为自我监督。
自我监督学习（SSL）旨在在没有任何人工标记的数据注释的情况下生成有用的特征表示。 – K Gupta等人
