使用Amazon SageMaker和Hugging Face,Fetch将ML处理延迟减少了50%

使用Amazon SageMaker和Hugging Face,Fetch减少了50%的ML处理延迟

此文章是从2023年9月AWS网站上的原始发布文章转载的。

概述

消费者参与和奖励公司Fetch提供了一个应用程序,用户可以通过扫描他们的收据来获得购买奖励。该公司还解析这些收据,以生成消费者行为的见解,并将这些见解提供给品牌合作伙伴。随着每周扫描数量的快速增长,Fetch需要提高其速度和准确性。

在亚马逊网络服务(AWS)上,Fetch使用Hugging Face和Amazon SageMaker优化了其机器学习(ML)管道,Amazon SageMaker是一种具有完全托管基础架构、工具和工作流的构建、训练和部署ML模型的服务。现在,Fetch应用程序可以更快地处理扫描,并具有显着更高的准确性。

机遇 | 在12个月内使用Amazon SageMaker加速Fetch的ML管道

使用Fetch应用程序,客户可以扫描收据,获得积分,并将这些积分兑换为礼品卡。为了立即奖励用户的收据扫描,Fetch需要能够捕获收据中的文本,提取相关数据,并将其结构化,以便其系统的其余部分可以处理和分析。每周处理超过8000万张收据,在高峰时段每秒处理数百张收据,需要快速、准确和可扩展地执行此过程。

2021年,Fetch着手优化其应用程序的扫描功能。Fetch是一个AWS原生公司,其ML运营团队已经在使用Amazon SageMaker来处理其许多模型。这使得将其模型迁移到Amazon SageMaker以增强其ML管道的决策变得简单明了。

在整个项目期间,Fetch与AWS团队进行了每周通话,并得到了AWS配对的主题专家的支持。该公司在12个月内构建、训练和部署了五个以上的ML模型,使用了Amazon SageMaker。在2022年末,Fetch推出了更新的移动应用程序和新的ML管道。

“Amazon SageMaker对Fetch来说是一个革命性的变革。我们广泛使用几乎所有的功能。随着新功能的推出,它们立即变得有价值。很难想象在没有Amazon SageMaker的功能的情况下完成这个项目。”

Sam Corzine,机器学习工程师,Fetch

解决方案 | 使用ML和Hugging Face在Amazon SageMaker GPU实例上减少50%的延迟

“通过使用Hugging Face AWS深度学习容器的灵活性,我们可以改进我们的模型质量,而Hugging Face与AWS的合作意味着部署这些模型非常简单。”

Sam Corzine,机器学习工程师,Fetch

Fetch的ML管道由几个Amazon SageMaker功能提供支持,特别是Amazon SageMaker模型训练,它减少了在规模上训练和调优ML模型的时间和成本,以及Amazon SageMaker处理,一个简化的、托管的运行数据处理工作负载的体验。该公司使用多GPU实例来运行其自定义ML模型,以实现快速性能。“在Amazon SageMaker上使用GPU实例非常简单,”Fetch的后端工程师Ellen Light说道。Fetch训练这些模型以识别和提取收据上的关键信息,公司可以利用这些信息生成有价值的见解并奖励用户。在Amazon SageMaker上,Fetch的自定义ML系统可以无缝扩展。“通过使用Amazon SageMaker,我们可以简单地扩展我们的系统,特别是用于推理和运行时,”Fetch的ML工程师Sam Corzine说道。与此同时,标准化的模型部署意味着更少的手动工作。

Fetch在Amazon SageMaker的ML训练功能上有很大依赖,特别是其训练作业,因为它不断改进和迭代其模型。Fetch还可以并行训练ML模型,加快了开发和部署速度。“我们部署模型几乎没有任何摩擦,”Fetch的应用科学家Alec Stashevsky说道。“基本上,我们不需要考虑它。”这增加了整个公司的信心和工作效率。例如,一个新的实习生在入职的第三天就能自己部署一个模型。

自从采用了Amazon SageMaker进行机器学习调优、训练和重新训练以来,Fetch公司将其文档理解模型的准确性提高了200%。它继续对模型进行微调以进一步提升性能。Fetch的ML工程师Quency Yu表示:“Amazon SageMaker是构建这些优秀模型的关键工具。”为了优化调优过程,Fetch依赖于Amazon SageMaker推理推荐器,这是Amazon SageMaker的一个功能,通过自动化负载测试和模型调优来减少将ML模型投入生产所需的时间。

除了自定义的ML模型,Fetch还使用AWS深度学习容器(AWS DL Containers),这是一种企业可以使用的快速部署深度学习环境的优化、预打包容器镜像。这简化了使用Hugging Face Inc.(Hugging Face)的库的过程,Hugging Face是一家人工智能技术公司,也是AWS的合作伙伴。具体而言,Fetch使用了Amazon SageMaker Hugging Face推理工具包,这是一个用于提供转换器模型的开源库,以及Hugging Face AWS深度学习容器用于训练和推理。“使用Hugging Face AWS深度学习容器的灵活性,我们可以提高模型的质量,”Corzine说。“而且Hugging Face与AWS的合作意味着部署这些模型非常简单。”

自从采用Amazon SageMaker以来,Fetch在每个度量指标上的性能都有所提升。该公司将最慢扫描的延迟降低了50%。“我们的准确性改善也增强了合作伙伴对我们数据的信心,”Corzine说。有了更多的信心,合作伙伴将增加对Fetch解决方案的使用。“能够利用Amazon SageMaker在每个数据点上显著提高准确性,对我们整个业务都是巨大的好处,”Corzine说。

现在,Fetch可以从收据中提取更多类型的数据,并根据品牌合作伙伴的特定需求灵活构建结果洞察。“借助ML的力量,我们可以从收据中提取合作伙伴想要的内容,”Corzine说。“由于我们对ML的投资,合作伙伴可以推出新类型的优惠活动,这对他们来说是巨大的额外好处。”

用户也喜欢这些更新,自从发布新版本以来,Fetch的月活跃用户数量从1000万增长到1800万。“Amazon SageMaker对Fetch来说是一个改变游戏规则的工具,”Corzine说。“我们几乎全面地使用了每个功能。随着新功能的发布,它们立即变得有价值。很难想象在没有Amazon SageMaker的功能的情况下完成这个项目。”例如,Fetch从自定义的影子测试流水线迁移到了Amazon SageMaker的影子测试,该测试验证新的ML模型与生产模型的性能,以防止服务中断。现在,影子测试更直接了,因为Fetch可以直接将性能与生产流量进行比较。

结果 | 将ML扩展到新的用例

Fetch的ML团队不断致力于开发新模型,并对现有模型进行迭代,以调优性能。“我们还喜欢的另一件事是能够使用Amazon SageMaker的新功能保持我们的技术栈最新,”Fetch的ML开发人员Chris Lee说。该公司将继续在不同的ML用例中扩大对AWS的使用,例如欺诈预防,并涵盖多个团队。

作为最大的消费者参与软件公司之一,Fetch的目标是继续增长。“AWS是我们计划扩大规模的关键部分,我们将借助Amazon SageMaker的功能继续提高我们的准确性,”Corzine说。

关于Fetch

Fetch是一家消费者参与公司,为品牌合作伙伴提供有关消费者购买的见解。它还提供一个移动奖励应用程序,通过收据扫描功能让用户在购买中获得奖励。

如果您需要在您的公司中使用Hugging Face on SageMaker的支持,请在此处联系我们-我们的团队将与您联系,讨论您的需求!