这篇AI论文提出了一种名为Cones的新型基于梯度的方法，用于分析和识别扩散模型中的概念神经元
这篇AI论文介绍了一种名为Cones的新型基于梯度的方法，用于分析和识别扩散模型中的概念神经元
大脑的复杂结构使其能够执行令人惊叹的认知和创造性任务。根据研究，人类内侧颞叶的概念神经元对给定刺激的语义特征有不同的反应。这些神经元被认为是高级智力的基础，它们在经验项目之间存储着时间和抽象的连接，跨越时空间的间隔。因此，了解当代深度神经网络是否接受类似的思维神经元结构作为最成功的人工智能系统之一，是非常有趣的。
生成扩散模型是否专门使用其神经元来独立编码多个主题，以模拟人脑的创造能力？中国的研究人员从主题驱动的生成的角度回答了这个问题。根据输入文本提示的语义，他们建议在预训练的文本到图像扩散模型的注意力层中定位一小群神经元，这些神经元是参数，改变这些神经元的值可以在不同的内容中创建一个匹配的主题。这些神经元被认为是与扩散模型中相关主题相关的思维神经元。识别它们可以帮助我们更多地了解深度扩散网络的基本工作原理，并为主题驱动的生成提供一种新的方法。这些被称为Cones1的思维神经元在本研究中使用了一种独特的基于梯度的方法进行分析和识别。他们将它们用作缩小比例的参数，其绝对值可以更有效地创造所提供的主题，同时保留现有的知识。这个动机可能导致一个基于梯度的准则，用于确定一个参数是否是概念神经元。经过几次梯度计算，他们可以使用这个准则来定位所有的概念神经元。然后从各个角度检查这些思维神经元的可解释性。
他们首先研究了思维神经元对其值的变化的抵抗力。他们使用float32、float16、四进制和二进制数字精度来优化概念植入损失，直接关闭那些概念神经元而不进行训练。由于二进制数字精度占用最少的存储空间，并且不需要额外的训练，他们将其用作主题驱动生成的默认技术。结果表明，在所有情况下都表现出一致的性能，显示出神经元在处理目标主题方面的高鲁棒性。使用这种方法，将来自不同主题的思维神经元连接起来可以产生所有这些主题的结果，并且还允许令人激动的可加性。扩散模型参数空间中这种简单而强大的仿射语义结构的发现可能是首次。基于连接的额外微调可以将多概念生成能力推进到一个新的里程碑：他们是主题驱动生成中首次成功在单个图像中产生四个不同的、不相关的主题。
最终，由于它们的稀疏性和弹性，神经元可以在大规模应用中有效地使用。包括人像、环境、装饰等各种类别的许多调查表明，这种方法在可解释性方面具有优势，并且可以生成多个概念。与当前的主题驱动方法相比，存储开发特定主题所需的数据仅使用大约10%的内存，使其在移动设备上的使用非常具有成本效益和环境友好。
查看这篇论文。这项研究的所有荣誉归功于这个项目的研究人员。此外，不要忘记加入我们的26k+ ML SubReddit、Discord频道和电子邮件通讯，在这里我们分享最新的人工智能研究资讯、酷炫的人工智能项目等等。
通过Tensorleap的可解释性平台揭示深度学习的秘密
这篇AI论文提出了一种名为Cones的新型基于梯度的方法，用于分析和识别扩散模型中的概念神经元。
本文来源于MarkTechPost。
