“一种受脑启发的学习算法实现了人工和脉冲神经网络的元可塑性”
A brain-inspired learning algorithm achieves metaplasticity in artificial and spiking neural networks.
为了纠正全局输出错误，神经网络中的信用分配已经使用了许多突触可塑性规则。短期可塑性、赫布学习和时序相关的可塑性（STDP）一直是将生物相关的可塑性原则引入到脉冲和非脉冲人工神经网络中的主要焦点。STDP通过考虑前突触和后突触脉冲的时间顺序来改变突触，超越了赫布学习。这两种情况下的突触可塑性规则仅基于局部神经元活动，而不是准确地表示全局指令信息。多巴胺、去甲肾上腺素、血清素和乙酰胆碱等神经调节物质在许多突触上起作用，并来自特定神经调节性神经元的广泛分布轴突，以在奖励相关学习中产生全局调节突触。
生物神经调节的方法启发了神经网络模型中的几种可塑性算法。赫布修正和奖励之间存在显著的延迟，但该规则已经启发了其他形式的强化学习。例如，三因素规则用前突触和后突触神经元活动作为前两个因素，用远侧奖赏依赖的神经调节物水平作为第三个因素。资格追踪模型存储了同时发生的前突触和后突触脉冲的先前记录，以促进延迟奖赏相关的突触变化。计算神经科学模型确定了神经调节物水平下的突触幅度和极性，但这些方法仍需要包含在人工神经网络或脉冲神经网络中。在图像和语音识别的监督学习中，NACA算法不仅显著减少了类别连续学习过程中灾难性遗忘的问题，而且提高了识别准确性并降低了计算成本。进一步映射了埋藏层中的突触权重变化，揭示了NACA的权重变化分布避免了过度突触增强或抑制，从而保护了大量微调的突触。我们的研究结果共同呈现了一种基于期望的全局神经调节突触可塑性的新颖脑启发算法，该算法使神经网络在各种识别和连续学习任务中具有高准确性和低计算成本。
为了解决人工神经网络和脉冲神经网络中灾难性遗忘的问题，中国科学院自动化研究所的研究人员提出了一种基于神经调节依赖可塑性的新颖脑启发学习方法（NACA）。
该技术基于神经调节通路的数学模型，采用预期矩阵编码的形式，而预期矩阵编码又基于大脑的神经调节通路结构。根据刺激信号产生不同强度的多巴胺监管信号，并影响附近神经元和突触的可塑性。
通过NACA对纯前馈流学习技术的认可，可以训练人工神经网络和脉冲神经网络。它与输入信号同步，并在呼叫完成之前甚至向前传播信息。当与特定的时序相关可塑性修改相结合时，NACA展示了快速收敛和减少灾难性遗忘的显著优势。此外，研究团队将神经调节扩展到神经可塑性的范围，并在类别连续学习中测试了NACA的连续学习能力。
研究人员使用NACA算法在网络训练过程中，考虑输入类型和输出误差，定义了隐藏层和输出层亚群的神经调节物水平。突触功效对神经调节物或钙离子水平的依赖启发了SNN中每个突触的LTP和LTD幅度和极性的非线性调节。例如，多巴胺与包含D1样或D2样受体的突触结合，可能可变地激活细胞内信号级联，从而改变活动诱导的LTP或LTD。
我们将基于神经调节的突触可塑性实现到名为NACA的学习算法中，用于SNN和ANN。当将该网络应用于常见的图像和语音识别任务时，我们发现准确性显著提高，计算成本大幅降低。通过NACA技术，五个复杂性不同的类别连续学习任务的灾难性遗忘得到了极大的减少。虽然其他受神经调节启发的网络学习算法，如脉冲神经网络中的全局神经工作空间理论和人工神经网络中的辍学概率神经调节，已经得到发展，但NACA由于三个独特的特点而脱颖而出，这些特点可能有助于其成功。特定神经元和突触在隐藏层和输出层中的神经调节物水平根据输入类型和输出误差进行调整。其次，神经调节物水平非线性地影响局部突触可塑性，如LTP或LTD。第三，全局BP的错误信号对于网络学习无关紧要，完全依赖于局部可塑性。
NACA算法与现有的学习算法相比，大大降低了所有任务的计算成本。使用NACA有助于减少在连续学习过程中经常发生的极端遗忘。在类别CL期间，对隐藏层突触的突触权重变化进行进一步的映射揭示，NACA导致突触权重变化呈正态分布，没有过度增强或抑制，并且在类别CL期间保留了许多最小修改的突触。NACA减少极端遗忘的能力可能基于突触权重变化的分布方式。
以下是对提出的NACA算法的一些限制：
- 首先，在更深的神经网络中，NACA算法在突触变化的神经调控过程中显示出一些不稳定性。例如，在最初的几个时期，多层突触的并行神经调控导致测试准确性的暂时下降。
- 其次，与预测编码一致，NACA算法不容易与传统的BP算法集成，因为它的全局神经调控发生在甚至超前于局部脉冲传播之前。
- 第三，NACA只引入并研究了兴奋性LIF神经元和单一类型的神经调节物质，没有考虑来自多种神经元类型的神经调控的相互作用。
总结起来，NACA算法结合了生物学上合理的学习规则，而无需进行全局BP-like梯度下降计算，可以推动SNN和ANN的网络学习。它证明了通过采用脑启发方法可以实现机器学习的高效率和低计算成本。如果在神经形态学设备中实施NACA算法，将为在线连续学习系统铺平道路，这既节能又高效。从计算神经科学的角度来看，NACA的成功证明了大脑神经回路的灵活性与局部可塑性的多样性有关。
