认识 LieGAN:一种使用生成对抗训练自动从数据集中发现等变性的 AI 框架

在深度学习中,对称性是至关重要的归纳偏差。卷积神经网络可以使用具有平移对称性的图像,图神经网络可以利用图中的置换对称性。构建一般的群等变神经网络的理论研究和实用方法近期受到了广泛关注。

等变神经网络提供了几个优点,但构建模型首先需要明确地知道数据的对称性。在实践中,确定数据的真实对称性可能是具有挑战性的,而将模型限制在精确的数学对称性上可能不是最优的。

来自加州大学圣地亚哥分校、东北大学和IBM研究所的研究人员介绍了一种基于生成对抗训练的新方法,以从数据中提取连续对称性。该工作演示了对称性与数据分布的关系。接下来,该方法训练一个对称性生成器,将所学到的变换应用到训练数据上,并产生一个与原始数据集可比的输出分布,表明等变性或不变性。

他们的方法LieGAN通过利用李群和李代数的理论来寻找连续的矩阵群对称性。参数化技术使其能够处理各种对称性,包括离散群变换和群子集。LieGAN直接产生正交李代数基础,使其易于解释。研究结果表明,LieGAN学习到的李代数可在诸如N体动力学和顶夸克标记等下游任务中产生高质量的结果。使用等变模型和数据增强,预测性能在几个数据集上得到了提高,并为利用下游预测任务中学习到的对称性创建了流水线。

为了达到等变模型具有地面实况对称性的性能水平,他们还提出了LieGNN,这是一种修改的E(n)等变图神经网络(EGNN),它包含LieGAN学习到的对称性。

本研究侧重于具有全局对称性的一般线性群子群。然而,研究人员认为,通过将简单的线性变换生成器替换为更复杂的结构,LieGAN可以应用于更一般的对称性发现场景。这可能包括非连通的李群对称性、非线性对称性和规范对称性。