这篇AI论文揭示了一种理解深度学习模型的新方法:通过概念相关性传播(CRP)来解开“何处”和“何物”

流连AI:揭示深度学习模型的新方法——用概念相关性传播(CRP)解开“何处”与“何物”之迷

机器学习和人工智能领域变得非常重要。我们每天都在取得新的进展。该领域正在影响各个领域。通过利用精心开发的神经网络结构,我们拥有在各自领域内精确度非凡的模型。

尽管它们的性能准确,但我们仍然必须完全理解这些神经网络的工作原理。我们必须了解这些模型内部属性选择和预测的机制,以观察和解释结果。

深度神经网络(DNNs)复杂而非线性的特性往往导致结论可能存在偏向不希望或不理想特征的问题。它们的推理固有的不透明性带来了挑战,使得在各个相关的应用领域应用机器学习模型变得困难。了解AI系统如何做出决策并不容易。

因此,托马斯·威甘德教授(弗劳恩霍夫HIT,比福德),沃伊切赫·萨米克教授(弗劳恩霍夫HIT,比福德)和塞巴斯蒂安·拉普什金博士(弗劳恩霍夫HIT)在他们的论文中引入了相关性传播(CRP)的概念。这种创新的方法通过将属性图传递到人类可以理解的解释中,为我们提供了从个体AI决策到人类可理解概念的途径。

他们将CRP作为深度神经网络的先进解释方法,以补充和丰富现有的解释模型。通过整合局部和全局视角,CRP回答了关于个体预测的“在哪里”和“什么”的问题。除了影响选择的相关输入变量,CRP还揭示了CRP所使用的AI思想,它们在输入中的空间表示以及负责考虑它们的个体神经网络部分。

因此,CRP以人们能理解的方式描述了AI做出的决策。

研究人员强调,这种解释方法从输入到输出考察了AI的全部预测过程。研究小组已经开发出使用热力图来展示AI算法如何进行判断的技术。

弗劳恩霍夫HIT的可解释人工智能研究小组负责人塞巴斯蒂安·拉普什金博士更详细地解释了这种新技术。他说CRP将解释从输入空间(图像及其所有像素所在的位置)转移到由更高的神经网络层形成的语义丰富的概念空间中。

研究人员进一步表示,被称为CRP的AI可解释性的下一阶段为研究、评估和提升AI模型的性能带来了全新的机遇。

通过使用基于CRP的研究探索模型设计和应用域,可以获得对模型内部思想的表示和组成的洞察,并定量评估它们对预测结果的影响。这些调查利用CRP的力量深入研究模型的复杂层次,揭示概念景观并评估各种思想对预测结果的定量影响。