用定制镜头打造良好结构的IDP解决方案- 第一部分：运营卓越
打造具有良好架构的IDP解决方案的定制镜头运营卓越- 第一部分
IDP Well-Architected Lens是为所有使用AWS运行智能文档处理(IDP)解决方案并寻求在AWS上构建安全、高效和可靠的IDP解决方案的AWS客户而设计的。
在云中构建可用于生产环境的解决方案涉及资源、时间、客户期望和业务结果之间的一系列权衡。AWS Well-Architected Framework帮助您了解在构建AWS工作负载时所做决策的益处和风险。通过使用该框架，您将学习云中设计和运营可靠、安全、高效、成本有效和可持续工作负载的操作和架构最佳实践。
IDP流水线通常结合光学字符识别(OCR)和自然语言处理(NLP)来阅读和理解文档，并提取特定术语或单词。IDP Well-Architected Custom Lens概述了AWS Well-Architected审查的步骤，使您能够评估和识别IDP工作负载中的技术风险。该自定义Lens整合了最佳实践和指导，以有效地应对IDP工作负载管理中的常见挑战。
本文重点讨论IDP解决方案的操作卓越支柱。在IDP中，操作卓越意味着将强大的软件开发原则和维护高质量的客户体验应用于文档处理领域，同时始终满足或超越服务水平协议(SLA)。它涉及有效组织团队，设计IDP系统以高效处理工作负载，并以规模操作这些系统，并不断演进以满足客户需求。
在本文中，我们将从操作卓越支柱和设计原则的介绍开始，然后深入探讨四个重点领域：组织文化、工作负载设计、构建和发布优化以及可观测性。通过阅读本文，您将了解IDP案例研究结合Well-Architected Framework中的操作卓越支柱。
设计原则
对于IDP工作负载，操作卓越转化为以下内容：
- 数据提取的高准确性和低错误率 – 从文档中精确提取数据至关重要，这样能够最大程度地减少错误，并确保用于决策的信息是可靠的。
- 高处理速度和低延迟处理高文档数量 – 高效处理大量文档的能力使组织能够跟上业务需求，减少瓶颈。
- 持续监控以快速诊断和解决问题 – 主动监控和维护有助于快速识别和解决文档处理流程中的任何中断，保持顺畅的运营流程。
- 快速迭代以改进模型和工作流程 – 实施反馈环路，以持续改进算法和流程，确保系统能够应对新兴的挑战和效率标准。
- 成本优化以确保资源与工作负载需求相匹配 – 战略性资源管理确保对IDP系统的财务投资获得最大价值，根据波动性的文档处理需求动态调整资源。
- 遵守SLA – 满足或超过向客户承诺的标准和交付时间对于保持信任和满意度至关重要。
有效的设计策略必须与这些目标相一致，确保IDP系统不仅在技术上具备能力，而且在现实世界中也针对性地优化，解决挑战。这将使操作卓越从后端目标提升为战略资产，成为整个企业成功的关键因素。根据操作卓越支柱的设计原则，我们提出了以下设计原则用于此自定义Lens。
| 设计原则 |
描述 |
| 将IDP SLA与整体文档工作流目标对齐 |
IDP通常作为业务团队管理的更广泛文档工作流的重要组成部分。因此，至关重要的是仔细制定IDP的SLA，使其成为整体文档工作流SLA的子集。这种方法确保IDP的性能期望与更大的工作流目标协调一致，为处理速度、准确性和可靠性提供明确一致的标准。通过这样做，企业可以创建一个协调和高效的文档管理系统，与整体业务目标和利益相关者期望保持一致，增强对系统能力的信任和可靠性。 |
| 为效率和可重复性编码操作 |
通过将操作作为代码执行并结合自动化部署方法，组织可以实现可扩展、可重复和一致的流程。这不仅可以最小化人为错误的可能性，还为新的数据来源和处理技术的无缝集成铺平了道路。 |
| 积极预测和计划系统故障 |
因为IDP系统处理着各种复杂性不同的大量文档，潜在问题可能在文档处理流程的任何阶段出现。您应该进行“事前尸检”练习，事先识别潜在的故障源，以便可以排除或减轻它们。定期模拟故障场景并验证对其影响的理解。测试响应程序以确保其有效性并确保团队熟悉其流程。建立定期游戏日以测试工作负载和团队对模拟事件的响应。 |
| 频繁迭代，借助反馈机制改进 |
随着文档处理工作负载的演进，确保您的操作策略与之同步适应，并寻找改进机会：
- 频繁进行小规模、可逆转变 – 设计工作负载以允许组件定期更新，增加对整体工作负载的有益变化的流动性。通过小的增量变更，可以在引入到环境中的问题的识别和解决方面进行逆转。
- 从所有操作故障中汲取经验教训 – 通过从所有操作事件和故障中汲取经验教训推动改进。在团队和整个组织范围内共享所学。
|
| 监控操作健康状况 |
确保从仅仅监控转向IDP框架内的高级可观察性。这包括对系统健康的全面了解。通过有效收集和关联遥测数据，您可以获得可行的见解，促进对问题的预防性检测和减轻工作。 |
| 追求基于指标的质量和持续改进 |
在IDP中，衡量的东西会得到改进。定义和跟踪与文档准确性、处理时间和模型有效性相关的关键指标至关重要。注重以指标为驱动的策略，尤其是对于高影响领域，强调数据提取的质量。运用一个飞轮方法，通过持续的数据反馈来定期组织和评估对模型和流程
重点领域
操作卓越支柱的设计原则和最佳实践来自我们从客户和IDP专家那里了解到的知识。在进行设计选择时，请使用这些原则作为指南，并确保它们与您的业务需求相匹配。应用IDP Well-Architected Lens还可以帮助您验证这些选择是否旨在实现操作卓越，确保它们满足您的特定运营目标。
以下是云中 IDP 解决方案操作卓越的主要关注领域：
- 组织文化 – 组织文化对于塑造 IDP 项目的实施和管理方式至关重要。这种文化是通过为处理时间和准确性设定明确的期望的清晰SLA来维持的，以确保所有团队成员都朝着共同的目标努力。这再加上作为操作卓越中心的集中功能，整合最佳实践并引导 IDP 项目取得成功。
- 工作负载设计 – 这涉及创建一个能够灵活处理不同需求、优化文件处理的质量和准确性，并与外部系统高效集成的系统。
- 构建和发布优化 – 这个领域强调实施标准化的 DevSecOps 过程。目标是简化开发生命周期，并使用自动化确保更新或新功能的平稳快速部署。这种方法旨在提高 IDP 系统开发和部署的效率、安全性和可靠性。
- 可观察性 – 在 IDP 中，可观察性侧重于全面监控、警报和日志功能，以及管理服务配额。这涉及对系统性能保持警惕，建立有效的警报机制以应对潜在问题，维护详细的日志进行分析，并确保系统在其资源分配范围内运行。
组织文化
为了在 IDP 中实现操作卓越，组织必须将某些最佳实践融入其文化和日常运营中。以下是几个关键领域，可以指导组织优化其 IDP 工作流程：
- 文化和运营模式 – 培养一个倡导 IDP 工作负载的战略设计、部署和管理的文化。这应该成为一种文化规范，融入运营模式以支持敏捷和响应能力的文件处理。
- 业务和 SLA 对齐 – 将 IDP 项目与业务目标和 SLA 对齐。这个实践确保文件处理支持整体业务战略，并满足利益相关者重视的绩效指标。
- 持续 AWS 培训 – 承诺定期接受 AWS 服务的培训和技能提升，以增强 IDP 功能。经过良好培训的团队可以利用 AWS 不断发展的功能，提高文件处理的效率和创新能力。
- 变更管理 – 建立强大的变更管理流程，以应对 IDP 领域的动态性质。有效的变更管理支持平稳过渡，并帮助在升级或战略转变期间保持不间断的 IDP 运营。
- 定义 IDP 成功的指标 – 建立和监测明确的指标来衡量 IDP 运营的成功和影响。例如：使用 Amazon CloudWatch，您可以监控通过 Amazon Textract 处理的文档数量。类似地，监控上传到 Amazon Simple Storage Service (Amazon S3) 中的文档的数量和大小可以提供有关处理需求增加速度的见解。另外，借助 AWS Step Functions，您可以使用内置的指标跟踪处理作业成功率，从而了解工作流编排的有效性。
- 渐进式改进 – 鼓励反馈和渐进式开发的文化，以完善 IDP 流程。通过定期分析性能数据和用户反馈，组织可以根据数据做出有根据的、逐步的改进 IDP 系统。
- 来自人工审查的反馈循环 – 将人工审查的反馈循环整合到 IDP 系统中。这提供了有价值的见解，可以持续改进自动化流程的准确性和有效性。
工作负载设计
有效的工作负载设计对于成功管理智能文档处理系统至关重要。这种设计必须具有适应性，以满足各种需求，处理不断变化的需求，保持高质量和准确性，并与其他系统实现无缝集成。以下是可以帮助实现这些目标的最佳实践：
- 利用 IDP 工作流程阶段 – 在设计 IDP 架构时，考虑典型的 IDP 工作流程阶段是很重要的，这些阶段可能根据具体的用例和业务需求而变化。常见的阶段包括数据捕获、文档分类、文档文本提取、内容增强、文档审查和验证以及数据消费。通过清晰定义和分离这些阶段，您可以建立一个更强大的系统。这种方法有助于在故障发生时隔离不同的组件，从而实现更顺畅的运营和更易于维护。
- 灵活处理需求 – 创建一个能够轻松适应需求变化的文件处理系统。这确保随着业务需求的变化，系统可以相应地进行缩放，并继续平稳运行。
- 例如，当与 Amazon Textract 进行接口交互时，确保通过在创建 Amazon Textract 客户端时设置配置参数来管理限制和连接断开。建议将重试计数设置为 5，因为 AWS SDK 在将该操作认为是失败之前会重试指定的次数。通过使用 SDK 内置的指数补偿策略，可以更有效地处理限制。
- AWS 可能会根据各种因素定期更新服务限制。及时查看最新文档，并根据需要调整限制管理策略。例如，您可以使用 Amazon Textract 配额计算器 来估算满足您用例需求的配额值。如果您的应用程序经常遇到限制问题，请考虑请求 AWS 增加 Amazon Textract 和 Amazon Comprehend 的服务配额。
- 质量和准确性优化
构建和发布优化
简化构建和发布流程对于IDP解决方案的敏捷性和安全性至关重要。以下是构建和发布优化的关键实践，重点是自动化、持续集成和持续交付（CI/CD）以及安全性：
- 自动化部署 – 使用基于基础架构即代码（IaC）原则设计您的IDP解决方案，以实现一致且可重复的部署；无服务器基础架构可以使用AWS云开发工具包（AWS CDK）部署，并通过低代码可视化工作流服务（如AWS Step Functions）进行编排。
- CI/CD流水线 – 利用AWS CodePipeline、AWS CodeBuild、AWS CodeDeploy等工具，自动化构建、测试和发布IDP组件和模型的各个阶段。设置自动回滚以减轻部署风险，并在生产部署之前进行变更跟踪和管理以进行彻底的验证。
- 借助AWS KMS实现安全性 – 运营卓越不仅仅关乎效率；安全性也起着关键作用。特别是对于Amazon Comprehend端点，其中客户管理的密钥加密底层模型，使用AWS密钥管理服务（AWS KMS）的密钥权限是至关重要的。利用AWS Trusted Advisor检查端点访问风险并管理KMS密钥权限。
- 与多样化外部系统的无缝集成 – 量身定制构建和发布流水线，强调与多样化外部系统的无缝集成。使用AWS服务和最佳实践设计文档处理工作流程，以轻松接口和适应各种外部需求。这确保了部署的一致性和敏捷性，即使在复杂的集成场景中也优先考虑运营卓越。
可观测性
在IDP中实现运营卓越需要一种综合的方法，其中监控和可观测性起着关键作用。以下是确保在AWS环境中实现清晰、洞察力和持续改进的关键实践：
- 全面的可观测性 – 使用Amazon CloudWatch Logs等工具实施全面的监控和可观测性解决方案，用于Amazon Textract和Amazon Comprehend等服务。这种方法为所有相关利益相关者提供明确的运营洞察力，促进高效的运营、响应事件处理和持续改进。
- Amazon Comprehend端点监控和自动缩放 – 使用Trusted Advisor对Amazon Comprehend端点进行仔细监控，优化资源利用率。调整吞吐量配置或使用AWS应用自动缩放来满足需求，提高效率和成本效益。
- Amazon Textract监控策略 – 在利用Amazon Textract时，采用整体方法：
- 利用CloudWatch仔细监控Amazon Textract操作，从SuccessfulRequestCount、ThrottledCount、ResponseTime、ServerErrorCount、UserErrorCount等关键指标中获取洞察力
- 根据这些指标设置精确的警报，并将其与Amazon Simple Notification Service（Amazon SNS）集成，进行实时异常检测。
- 及时采取行动，确保及时纠正问题并保持一致的文档处理效率。这种策略将细致的监控与主动干预相结合，为运营卓越设定了标杆。
- 使用AWS CloudTrail记录API调用 – 使用AWS CloudTrail，可以查看API调用历史和用户活动，对运营监控和快速事件响应至关重要。Amazon Textract和Amazon Comprehend服务已与AWS CloudTrail集成。
结论
在本篇文章中，我们分享了实现 IDP 解决方案操作卓越所需的设计原则、关注领域、基础和最佳实践。通过采用本文介绍的符合良好架构框架原则，您可以优化 IDP 工作负载，实现操作卓越。着重关注 IaC、仪表化、可观察性和持续改进等关键领域，这将帮助您实现操作卓越，并确保您的 IDP 系统以安全合规的方式规模化地提供业务价值。
AWS 致力于将 IDP 良好架构镜头作为一项不断更新的工具。随着 IDP 解决方案和相关的 AWS AI 服务的不断演进以及新的 AWS 服务的推出，我们将相应地更新 IDP 良好架构镜头。
如果您想要了解更多关于 AWS 良好架构框架的内容，请参考AWS 良好架构。
如果您需要额外的专家指导，请联系您的 AWS 帐户团队，与 IDP 专业解决方案架构师进行沟通。
|
