“边缘计算中的终身学习”
Edge Computing and Lifelong Learning
.fav_bar { float:left; border:1px solid #a7b1b5; margin-top:10px; margin-bottom:20px; } .fav_bar span.fav_bar-label { text-align:center; padding:8px 0px 0px 0px; float:left; margin-left:-1px; border-right:1px dotted #a7b1b5; border-left:1px solid #a7b1b5; display:block; width:69px; height:24px; color:#6e7476; font-weight:bold; font-size:12px; text-transform:uppercase; font-family:Arial, Helvetica, sans-serif; } .fav_bar a, #plus-one { float:left; border-right:1px dotted #a7b1b5; display:block; width:36px; height:32px; text-indent:-9999px; } .fav_bar a.fav_de { background: url(../images/icons/de.gif) no-repeat 0 0 #fff } .fav_bar a.fav_de:hover { background: url(../images/icons/de.gif) no-repeat 0 0 #e6e9ea } .fav_bar a.fav_acm_digital { background:url(‘../images/icons/acm_digital_library.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_acm_digital:hover { background:url(‘../images/icons/acm_digital_library.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_pdf { background:url(‘../images/icons/pdf.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_pdf:hover { background:url(‘../images/icons/pdf.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_more .at-icon-wrapper{ height: 33px !important ; width: 35px !important; padding: 0 !important; border-right: none !important; } .a2a_kit { line-height: 24px !important; width: unset !important; height: unset !important; padding: 0 !important; border-right: unset !important; border-left: unset !important; } .fav_bar .a2a_kit a .a2a_svg { margin-left: 7px; margin-top: 4px; padding: unset !important; }
连接主义深度神经网络（DNN）花费很长时间学习庞大的数据库，然后将这些知识蒸馏成适合部署在网络边缘的固定推理引擎。如果需要将新任务添加到推理引擎中，传统上必须将其添加到初始中央数据库并重复学习过程，然后重新部署。为什么？因为在已经训练好的深度神经网络中保持学习状态（所谓的终身学习）通常会覆盖部分现有的推理引擎，这就会导致原始数据库中的示例被“遗忘”，根据利日日的罗伯特（Robert French）在他的开创性研究《连接主义网络中的灾难性遗忘》中所述。
现在，南加州大学（USC），英特尔实验室和中国深圳先进技术研究院的研究人员声称已经实现了一种名为共享知识终身学习（SKILL）的开源架构，允许轻量级终身学习（LLL）代理在网络边缘获取新知识，然后在任意数量的其他边缘代理之间共享，而不会出现灾难性遗忘的风险。
“边缘学习非常重要。如今，一些估计将25％至30％的互联网数据来自边缘传感器，这使得边缘学习成为必需，”宾夕法尼亚州立大学（Penn State）创新副院长兼罗伯特·诺尔教授Vijaykrishnan Narayanan说。他没有参与这项研究。“这些研究人员完成了开创性工作，可以通过以前未尝试过的方式共享知识来打开边缘学习的大门。两个贡献非常突出。首先，他们分布式的终身学习可以逐步学习多个任务，而无需重新开始以避免遗忘。其次，也许更持久的贡献是SKILL数据集涉及了102种不同类型的学习，由分布式代理进行，例如学习阴影如何移动，同时学习不同的昆虫类型。正如开源评论所说，该数据集比仅进行对象分类要具有更大的挑战性。”
毫无疑问，许多其他研究人员已经针对中央系统的终身学习问题进行了解决，包括尝试模拟人脑如何使用结构可塑性、记忆回放、课程和迁移学习、内在动机以及多感官整合等方法，如德国汉堡大学的German Parisi与罗切斯特理工学院和赫瑞瓦特大学的同事在《神经网络的持续终身学习：综述》中所解释的。然而，这些类似于大脑的方法都没有尝试解决今天在网络边缘的小型（通常是电池供电的）代理之间完全分布式学习整合的问题。
其他团队正在探索相同的边缘学习目标，但所有竞争方法都使用集中式智能数据库来整合和分发多个代理之间进行的自治独立学习，根据南加州大学、英特尔和深圳研究院的研究人员，这样做会承担高带宽通信能力的负担，并且依赖于集中式架构，因此无法实现SKILL随着新的个体代理的增加而近似线性的加速。
这些研究人员表示，SKILL独特成功的关键在于建立在每个代理的制造过程中的固定共同核心识别引擎，以及每个代理在学习新任务时创建的任务特定的可共享模块，然后与其通过网络连接的代理共享。对于每个代理的固定核心，新获取的任务会被添加到其上，通过添加新的分类神经元实现。
南加州大学计算机科学教授Laurent Itti表示：“这项研究首次展示了如何在完全分布式的个体代理社会中，每个代理可以从其他代理的学习中受益，同时保留其个体性，并且可以在学习掌握各种技能的过程中实现几乎完美的并行化。”
神经网络通过使用其中间层从输入层提取特征（颜色、形状等）来工作。最后一层由分类类别神经元组成，每个神经元由一组唯一的提取特征神经元激活，它们通过加权突触连接相连。SKILL通过保留所有输入、中间和最后层的神经元和调整过的突触来工作，从而避免遗忘。它不是遗忘，而是通过为每个新任务添加新的分类神经元来学习新的类别。新的神经元通过加权突触与永久中央核心的特征层神经元相连接。
因此，任何代理（具有相同的中央核心）都可以通过将新的分类类别附加到它们的共同特征识别神经元上，以与原始边缘学习代理完全相同的方式，将任何新添加的分类类别广播给其他个体边缘代理。整个代理网络在不遗忘原始核心识别引擎识别的类别，或者说，不遗忘在代理之间共享的任何新添加的类别的风险下，获得了终身学习能力。
为了证明SKILL架构的概念，使用了Google的开源深度神经网络对标准的ImageNet数据集进行了训练，该数据集包含从ImageNet的1281167个训练图像（加上50000个验证图像和100000个测试图像）中提取的约1000个对象类别。然后，将这个DNN烧录到ROM中作为每个边缘代理的固定核心。
然后，边缘代理从包含2041225个示例的组合数据集中学习了100多个新任务，将它们放入与原始的22000个神经元和2900000个突触相连的5033个类别中。中间特征提取层的输出是一个2048特征向量，通过与为每个新任务添加的新输出神经元相连的突触，将新知识任务附加到其中。SKILL成功地学习了100多个新的模式识别任务，并成功地将该知识传递给多个代理。Itti声称，当前的架构可以扩展到学习500个新的分类任务。
目前，使用当前架构扩展到500个新任务的最大障碍是需要一个任务映射器，来区分新知识和原始核心知识。研究人员希望在未来的架构中解决这个限制。此外，目前在高度差异的图像类别之间进行识别（例如，花朵和心脏X射线之间）需要一种算法来微调切换到新任务类别时的神经元的偏置输入。
Itti声称，SKILL多个独立代理学习原型优于当前的竞争对手，并且每增加一个代理，学习速度几乎呈线性增加，并且具有未来升级的潜力。该工作得到了美国国防高级研究计划局（DARPA）、半导体研究公司和美国陆军研究办公室的支持。
R. Colin Johnson是京都奖学金获得者，已经担任科技记者两十年。
