德克萨斯大学奥斯汀分校的研究人员介绍了PSLD:一种利用稳定扩散来解决所有线性问题而无需额外训练的人工智能方法
Researchers at the University of Texas at Austin have introduced PSLD, an AI method that uses stable diffusion to solve all linear problems without additional training.
针对解决逆问题,有两种方法:有监督技术,其中训练一个恢复模型来完成任务;无监督方法,其中一个生成模型使用其已经学习到的先验来指导恢复过程。
生成建模的一个重要进展是扩散模型的出现。由于扩散模型的明显有效性,研究人员开始探索其在解决逆问题方面的潜力。由于使用扩散模型解决(线性和非线性)逆问题的困难,已经开发了许多近似算法。为了有效地解决绘图、去模糊和超分辨率等问题,这些技术使用预训练的扩散模型作为数据分布的灵活先验。
最先进的基础模型,例如稳定扩散,由潜在扩散模型(LDM)提供支持。这些模型已经在各种数据模态下实现了各种应用,例如图片、视频、音频和医学领域分布(MRI和蛋白质)。然而,当前的逆问题解决算法都不兼容潜在扩散模型。对于逆问题,必须针对每个感兴趣的任务执行微调,以使用基础模型,例如稳定扩散。
- 2023年顶级生成式人工智能公司
- “认识AudioGPT:一个连接ChatGPT与音频基础模型的多模态人工智能系统”
- 加州大学伯克利分校的研究人员提出了FastRLAP:一种通过深度强化学习和自主练习来学习高速驾驶的系统
得克萨斯大学奥斯汀分校的研究团队最近提出了第一个框架,使用预训练的潜在扩散模型来解决通用逆问题。额外的梯度更新步骤将扩散过程指向解码-编码映射不具有损失的样本潜变量;这是他们扩展DPS的核心概念。他们的算法被称为后验采样与潜在扩散(PSLD),通过使用可访问的基础模型的能力解决了各种问题,超过了无需微调的先前方法。
研究人员将PSLD方法与最先进的DPS算法在各种图像恢复和增强任务上进行了评估,例如随机绘制、方框绘制、去噪、高斯去模糊、运动去模糊、任意掩蔽和超分辨率。团队使用了使用LAION数据集训练的稳定扩散进行分析。结果显示出了最先进的性能。
研究人员还注意到,该算法会不知不觉地受到该数据集及其基础模型的内在偏见的影响。这种提出的技术与任何LDM兼容。团队认为,这些问题将通过在改进的数据集上训练新的基础模型得到解决。他们还强调,尚未研究基于潜在的基础模型解决非线性逆问题的应用。他们希望这将得到普遍应用,因为该方法是基于DPS的近似。