使用定制视角构建良好架构的IDP解决方案-成本优化的第5部分

使用定制视角构建高效架构的IDP解决方案-成本优化的第5部分

在云端构建一个可用于生产的解决方案涉及到资源、时间、客户期望和业务结果之间的一系列权衡。 AWS Well-Architected Framework 帮助你了解在AWS上构建工作负载时所做的决策的利益和风险。

智能文档处理(IDP)项目通常结合了光学字符识别(OCR)和自然语言处理(NLP)来读取和理解文档,并提取特定术语或词语。 IDP Well-Architected Custom Lens 概述了执行 AWS Well-Architected 审查的步骤,并帮助您评估和识别您的 IDP 工作负载中的风险。它还提供了解决常见问题的指南,使您能够根据最佳实践为您的 IDP 工作负载设计架构。

本文重点介绍 IDP 解决方案的成本优化支柱。成本优化的工作负载充分利用所有资源,以最低的价格点实现结果,并满足您的功能要求。我们首先介绍成本优化支柱和设计原则,然后深入探讨四个关注领域:财务管理、资源供应、数据管理和成本监控。通过阅读本文,您将了解到 IDP 案例研究中 Well-Architected Framework 中的成本优化支柱。

设计原则

成本优化是一个持续的过程,涉及到工作负载生命周期内的精细化和改进。本文介绍的实践方法可以帮助您构建和运营具有成本意识的 IDP 工作负载,以实现业务结果的同时将成本最小化,使您的组织能够最大化投资回报。

下面是几个有助于提高成本优化的原则。让我们考虑不同的项目阶段。例如,在项目规划阶段,您应该投资于云财务管理技能和工具,并使财务和技术团队能够同时考虑业务和技术观点。在项目开发阶段,我们建议采用一种消费模型,并根据需要动态调整使用情况。当您准备投入生产时,始终监控和分析支出情况。

在讨论最佳实践时,请记住以下几点:

  • 实施云财务管理 – 要通过 IDP 解决方案实现财务成功并加速业务价值的实现,您必须投资于云财务管理。您的组织必须投入必要的时间和资源来建立这个新技术和使用管理领域的能力。
  • 培养技术和财务之间的合作关系 – 在构建您的 IDP 解决方案和云旅程的所有阶段都要涉及财务和技术团队,进行成本和使用讨论。团队应该定期开会讨论诸如组织目标和 IDP 解决方案的目标、成本和使用情况的当前状态以及财务和会计实践等主题。
  • 采用消费模型并动态调整 – 以成本意识提供资源和管理数据,随着时间推移以成本优化方式管理您的项目阶段和环境。只支付您使用的资源,并根据业务需求增加或减少使用量。例如,用于 IDP 解决方案的开发和测试环境通常仅在工作周的每天 8 小时使用。通过在其不使用时停止开发和测试环境资源,例如在每周 40 个工作小时以外的时间停止运行,与连续每周 168 个小时运行相比,可以将成本降低 75%。
  • 监控、归属性和分析支出 – 测量工作负载的业务输出和与交付相关的成本。使用这些数据来了解通过增加输出、增加功能和减少成本来实现的收益情况。AWS 提供诸如 Amazon CloudWatch标签AWS CloudTrail 等工具,使您能够准确识别工作负载的成本和使用情况,确保您利用资源来衡量投资回报(ROI),并使工作负载所有者能够优化其资源并降低成本。

关注领域

成本优化支柱的设计原则和最佳实践基于我们的客户和 IDP 技术专家社区获得的见解。将它们用作指导并支持您的设计决策,并将其与您的 IDP 解决方案的业务需求相一致。应用 IDP Well-Architected Custom Lens 可以帮助您验证 IDP 解决方案的弹性和效率,并提供建议以解决可能存在的任何差距。

你可能曾经遇到过财务团队独立为你的云使用进行财务规划,结果被技术的复杂性所破坏的情况。在提供服务时也有可能忽视资源和数据管理,从而在账单上产生意外的费用项目。在本文中,我们将帮助您应对这些情况,并提供有关在IDP解决方案中进行成本优化的指南,以避免以昂贵的方式学习这些经验教训。以下是云中IDP解决方案成本优化的四个最佳实践领域:财务管理、资源预配、数据管理和成本监控。

财务管理

建立一个能够负责成本优化的团队对于成功采用云技术至关重要,对于构建IDP解决方案也是如此。您组织中的技术和财务相关团队必须在构建IDP解决方案和云旅程的各个阶段参与成本和使用讨论。以下是建立专门的云财务管理团队的一些关键实施步骤:

  • 确定关键成员 – 确保组织中所有相关部门都在成本管理中做出贡献并获得利益。最重要的是,您需要建立财务和技术之间的合作。考虑以下一般组别,并包括具有财务和业务领域专业知识以及技术领域知识的成员,以整合知识以实现更好的财务管理:
    • 财务负责人 – 首席财务官、财务主管、财务策划人员、业务分析师、采购、采购和应付账款必须了解消费的云模型、采购选项和每月发票处理流程。财务部门需要与技术团队合作,创建并传播IT价值故事,帮助业务团队理解技术支出与业务结果的关联性。
    • 技术负责人 – 技术负责人(包括产品和应用程序所有者)必须了解财务要求(例如预算限制)以及业务要求(例如服务级别协议)。这使得工作负载能够实施以实现组织的期望目标。
  • 设定目标和指标 – 该功能需要以不同的方式为组织提供价值。这些目标将被定义,并在组织演进过程中不断演化。该功能还需要定期向组织报告组织的成本优化能力。
  • 建立定期节奏 – 该团队应定期组织会议以审查其目标和指标。典型的节奏涉及审查组织的状态、当前运行的任何项目或服务以及整体的财务和优化指标。

资源预配

考虑到作为IDP解决方案一部分的AWS服务的各种配置和定价模型,您应根据自己的需求进行资源预配,并随着时间的推移调整预配以与业务需求或发展阶段保持一致。此外,确保您利用AWS提供的免费服务以降低总体成本。在为您的IDP解决方案预配资源时,请考虑以下最佳实践:

  • 在异步推理和同步推理之间做出选择 – 对于实时处理单个文档,应选择采用同步推理。选择异步作业来分析大型文档或批量处理多个文档,因为异步作业能更加节约成本地处理大批量文档。
  • 管理Amazon Comprehend端点推理单元 – 根据您的需求,您可以在创建Comprehend端点后调整端点的吞吐量。这可以通过更新端点的推理单元(IUs)来实现。如果您在较长的时间内未主动使用端点,应设置自动伸缩策略以减少成本。如果您不再使用端点,您可以删除端点以避免产生额外费用。
  • 管理Amazon SageMaker端点 – 对于追求推理类型选择和端点运行时间管理的组织,您可以在Amazon SageMaker上部署开源模型。SageMaker提供了不同的模型推断选项,并且您可以删除不再使用的端点或设置自动伸缩策略以减少模型端点的成本。

数据管理

数据在整个IDP解决方案中起着关键作用,从构建和交付开始。从最初的摄取开始,数据被推送到不同的处理阶段,并最终作为输出返回给最终用户。了解数据管理选择将如何影响整体IDP解决方案的成本非常重要。请考虑以下最佳实践:

  • <strong采用亚马逊s3智能级别亚马逊S3智能级别存储类别旨在通过在访问模式变化时自动将数据移到最具成本效益的访问级别,而不会增加操作开销或影响性能,优化亚马逊简单存储服务(Amazon S3)的存储成本。有两种方式将数据移入S3智能级别:
    • 通过在x-amz-storage-class标头中指定INTELLIGENT_TIERING,直接将数据放入S3智能级别。
    • 定义S3生命周期配置,将对象从S3标准或S3标准-低频访问转移到S3智能级别。

    </strong采用亚马逊s3智能级别

  • 在IDP工作流中强制执行数据保留策略 – 使用S3生命周期配置在S3存储桶上定义Amazon S3在对象生命周期内执行的操作,以及根据业务需求在对象生命周期结束时进行删除。
  • 将文档拆分为单页以进行特定FeatureType处理FeatureType是文档分析API调用(同步和异步)中的一个参数,在亚马逊Textract中包括以下值:TABLESFORMSQUERIESSIGNATURESLAYOUT。亚马逊Textract根据处理的页数和图像收费。并非所有页面都可能包含所需提取的信息。将文档拆分为单页,仅关注具有所需FeatureType的页面,有助于避免不必要的处理,从而减少总体成本。

到目前为止,我们已经讨论了IDP解决方案的实施和部署的最佳实践。当您的IDP解决方案部署并准备投产时,成本监控是您直接观察和控制成本的重要领域。在接下来的部分中,我们将讨论如何在IDP解决方案中进行最佳成本监控。

成本监控

成本优化始于对成本和使用情况的细致了解;模型和预测未来支出、使用情况和功能的能力;以及实施足够的机制将成本和使用情况与您组织的目标相一致。为了改善IDP解决方案的成本优化,请遵循以下最佳实践。

为IDP工作流的整个生命周期设计成本监控

定义并实施一种方法,跟踪资源及其在其生命周期中与IDP系统的关联。您可以使用标记来标识资源的工作负载或功能:

  • 实施标记方案 – 实施一个标记方案,用于标识资源所属的工作负载,并验证工作负载中的所有资源都已按相关标签进行标记。标记可帮助您按目的、团队、环境或其他与业务相关的标准对资源进行分类。有关标记用例、策略和技术的更多详细信息,请参阅标记AWS资源的最佳实践
    • 在服务级别进行标记允许更精细的成本监控和控制。例如,在IDP工作流中使用亚马逊Comprehend时,您可以在亚马逊Comprehend分析作业、自定义分类模型、自定义实体识别模型和端点上使用标签来组织亚马逊Comprehend资源,并提供基于标签的成本监控和控制。
    • 如果在服务级别的标记不适用,您可以导航到其他资源以进行成本分配报告。例如,因为亚马逊Textract按一页计费,您可以跟踪对亚马逊Textract的同步API调用次数以进行成本计算(每个同步API调用对应文档的一页)。如果您有大型文档,并且想要使用异步API,您可以使用开源库计算页面数,或者使用亚马逊Athena从您的CloudTrail日志中编写查询并提取信息以进行成本跟踪。
  • 实施工作负载吞吐量或输出监控 – 实施工作负载吞吐量监控或报警,以输入请求或输出完成为触发。配置它在工作负载请求或输出降至零时提供通知,表示工作负载资源不再使用。如果工作负载在正常情况下定期降至零,可以考虑时间因素。
  • 分组AWS资源 – 创建AWS资源组。您可以使用AWS资源组来组织和管理在同一区域的AWS资源。您可以为大多数资源添加标签,以帮助标识和排序您组织内的资源。使用标签编辑器批量添加标签到支持的资源。考虑使用AWS服务目录来创建、管理和分发批准的产品组合给最终用户,并管理产品生命周期。

使用监控工具

AWS提供了各种工具和资源,用于监控您的IDP解决方案的成本和使用情况。以下是帮助您进行成本监控和控制的AWS工具列表:

  • AWS预算 – 在您的工作负载的所有账户上配置AWS预算。使用标签为整个账户支出以及工作负载设置预算。在AWS预算中配置通知,以接收超出预算金额或估计成本超出预算时的警报。
  • AWS成本资源管理器 – 为您的工作负载和账户配置AWS成本资源管理器,以可视化您的成本数据进行进一步分析。为工作负载创建仪表板,跟踪整体支出、工作负载的关键使用指标以及基于历史成本数据的未来成本预测。
  • AWS成本异常检测 – 使用AWS成本异常检测监控您的账户、核心服务或您创建的成本类别,以检测异常开支。您可以以汇总报告形式单独接收警报,并通过电子邮件或Amazon Simple Notification Service(Amazon SNS)主题接收警报,从而能够分析并确定异常的根本原因,并识别导致成本增加的因素。
  • 高级工具 – 您还可以为组织创建自定义工具,为其提供更详细和精细的信息。您可以使用Athena实现高级分析功能,并使用Amazon QuickSight创建仪表板。考虑使用预配置的高级仪表板Cloud Intelligence Dashboards。您还可以与AWS合作伙伴合作,并采用他们的云管理解决方案,在一个方便的位置激活云账单监控和优化。

成本归因和分析

对成本进行分类是预算编制、会计、财务报告、决策、基准比较和项目管理的关键过程。通过对费用进行分类和归类,团队可以更好地了解他们在整个云旅程中将承担的费用类型,从而帮助他们做出明智的决策和有效管理预算。要改善IDP解决方案的成本归因和分析,遵循以下最佳实践:

  • 定义组织的类别 – 与利益相关方开会,定义反映组织结构和要求的类别。这些类别直接映射到现有财务类别结构,例如业务单位、预算、成本中心或部门。
  • 定义功能类别 – 与利益相关方开会,定义反映业务内部功能的类别。可能会涉及到IDP工作负载或应用程序名称以及环境类型,如生产、测试或开发。
  • 定义AWS成本类别 – 您可以创建成本类别以组织您的成本和使用信息。使用AWS成本类别将您的AWS成本和使用映射到有意义的类别中。利用成本类别,您可以使用基于规则的引擎组织您的成本。

结论

在本篇文章中,我们分享了IDP工作流程中的设计原则、重点领域和最佳实践。

要了解更多关于IDP Well-Architected定制镜头的信息,请浏览本系列中的以下文章:

使用定制镜头构建良好架构的IDP解决方案 – 第4部分:性能效率 – 使用定制镜头构建良好架构的IDP解决方案 – 第5部分:成本优化 – 使用定制镜头构建良好架构的IDP解决方案 – 第6部分:可持续性

AWS 致力于将 IDP 云架构镜头作为一种动态工具。随着 IDP 解决方案和相关的 AWS AI 服务的发展,以及新的 AWS 服务的推出,我们将相应地更新 IDP 云架构镜头。

要在 AWS 上开始使用 IDP,请参考AWS 上智能文档处理的指南来设计和构建您的 IDP 应用程序。如果您想深入了解涵盖数据摄取、分类、提取、丰富、验证和验证及消费的端到端解决方案,请参考使用 AWS AI 服务进行智能文档处理:第一部分第二部分。此外,使用 Amazon Textract、Amazon Bedrock 和 LangChain 进行智能文档处理介绍了如何使用大型语言模型 (LLMs) 扩展新的或现有的 IDP 架构。您将了解如何将 Amazon Textract 与 LangChain 集成为文档加载器、使用 Amazon Bedrock 从文档中提取数据,并在各个 IDP 阶段利用生成式 AI 能力。

如果您需要专业指导,请联系您的 AWS 账户团队以获取 IDP 专业解决方案架构师的支持。