亚马逊研究人员提出KD-Boost：一种新的知识蒸馏算法，专为实时语义匹配而设计
亚马逊研究团队推出KD-Boost：一项专注于实时语义匹配的全新知识蒸馏算法
网页搜索和电子商务产品搜索是依赖于准确实时语义配对的两个主要应用程序。在产品搜索中，难点在于弥合用户查询和相关结果之间的语义鸿沟。匹配过程通常包括两个步骤：产品获取（PS）和自动查询重构。产品采购检索给定查询的匹配结果，在产品搜索的环境中通常称为产品。随后，自动查询重构将糟糕构建的用户查询转换为语义相似、构建良好的查询，以扩大结果覆盖范围。
语义匹配是搜索引擎识别和关联具有可比较含义的项目的过程。通过语义匹配，用户查询不仅返回任意结果，而是基于上下文返回最相关的结果。已经证明，基于Transformer的模型在对请求进行编码并将其聚类到嵌入空间中的语义相关元素（如查询或结果）方面非常成功。然而，由于计算成本的原因，大型Transformer模型在实时匹配方面存在潜在的延迟问题，使其难以应用。
为了解决这些挑战，亚马逊的研究人员引入了KD-Boost，这是一种专门针对实时语义匹配问题而设计的新的知识蒸馏技术。KD-Boost使用来自教师模型的真实标签和软标签来训练低延迟、准确的学生模型。由直接审计、用户行为研究和基于分类法的数据生成的逐对查询-产品和查询-查询信号是软标签的来源。定制损失函数被用来正确引导学习过程。
研究人员表示，该研究使用各种相似性和不相似性信号的来源，以满足查询重构和产品采购的综合需求。编辑顺序相关标签用于查询-产品对，用户行为信息如点击和销售，以及产品分类法是这些信号的一些例子。为了确保模型学习到可以准确捕捉关联和相似性微妙差别的表示，特殊的损失函数被使用。
研究团队表示，已在内部和外部电子商务数据集上进行了测试，相比于直接训练学生模型，ROC-AUC（接收者操作特征-曲线下面积）有显著增强，提高了2-3%。相比于最先进的知识蒸馏基准和教师模型，KD-Boost表现更好。
在使用KD-Boost进行自动查询重构的模拟在线A/B测试中，观察到了有希望的结果。查询对查询的匹配提高了6.31%，表明了改善的语义理解。相关性提高了2.19%，显示出更准确和有上下文相关的匹配，产品覆盖率提高了2.76%，表示了更广泛的相关结果范围。
总而言之，本研究解决了与广泛产品搜索相关的延迟问题，强调了产品采购和自动查询重构活动的改进。它承认了当前基于Transformer的模型的缺点，并帮助研究了知识蒸馏作为解决方案的使用。
