揭示贝叶斯流网络：生成建模的新前沿
贝叶斯流网络：生成建模的新前沿
生成建模属于无监督机器学习的范畴，在这里模型学习发现输入数据中的模式。利用这些知识，模型可以自己生成与原始训练数据集相关的新数据。在生成AI领域和使用的网络方面已经有了许多进展，包括自回归模型、深度VAE和扩散模型。然而，这些模型在连续或离散数据的情况下往往存在缺陷。
研究人员引入了一种新型的生成模型，称为贝叶斯流网络（BFNs）。我们可以通过Alice和Bob的帮助来理解BFNs。Bob从一个基本的初始分布开始。他使用其参数在神经网络中获得一个新的“输出分布”的参数。Alice以计划的方式向数据添加噪声，以形成一个“发送分布”。Bob将输出分布与相同的噪声组合起来创建一个“接收分布”。他结合了所有可能数据值的假设发送者分布，根据输出分布考虑它们的概率。
Alice向Bob发送一个来自她的发送分布的样本。Bob根据这个样本使用贝叶斯规则更新他的初始分布。如果初始分布单独对每个数据变量建模，更新过程很容易进行。Bob在多个步骤中重复这个过程。最终，他的预测变得足够准确，Alice可以发送没有噪声的数据。
所描述的过程反过来为n步创建了一个损失函数，也可以通过考虑无限步骤将其扩展到连续时间。在连续时间中，贝叶斯更新成为从数据到网络的信息的贝叶斯流动。使用连续时间损失训练的BFN可以在推理和采样过程中运行任意数量的离散步骤，随着步骤数的增加，性能会提高。
对于连续数据，BFNs与变分扩散模型最相关，具有非常相似的连续时间损失函数。在这种情况下，主要区别在于BFNs中的网络输入比变分扩散和其他连续扩散模型中的输入要少得多。这是因为通常情况下，BFNs的生成过程始于固定先验的参数，而扩散模型的生成过程始于纯粹的噪声。
研究人员已经绘制了BFNs的框架，适用于连续、离散和离散化数据。实验结果在CIFAR-10（32×32 8位彩色图像）、动态二值化MNIST（28×28二值化手写数字图像）和text8（长度为256的字符序列，包含27个字母）上进行了测试，BFN在所有基准测试中表现出色。这项研究为生成建模中的BFNs提供了新的视角，并在该领域开辟了更多的研究方向。
