监控大数据管道的数据质量变得轻松
简化监控大数据管道的数据质量
介绍
想象一下自己掌舵一艘庞大的货船在危险的水域中航行。你有责任将珍贵的货物安全送到目的地。通过你的航海图的精确性，装备的可靠性和你的船员的专业能力来确定成功。一次错误、故障或失误都可能危及航行。
在如今的数据驱动世界中， 数据质量至关重要。 数据驱动的见解有助于形塑战略并塑造企业的未来。 像船长一样，数据工程师和专家通过一片浩瀚的数据海洋中引导其公司。 大数据管道是他们的工具，而不是指南针。
通过这些管道传输大量数据作为数据处理的基础。 然而，在这些水域中有许多隐藏的风险和不一致的数据。 本文详细介绍了大数据管道及其在数据驱动决策中的作用，以及保持数据质量的困难之处。 数据专家通过驾驭数据管理的复杂性，确保安全地传递重要见解，就像经验丰富的船长一样。
- 牛津大学的研究人员介绍了DynPoint：一种人工智能算法，旨在促进无限制单目视频的快速合成新视角
- “认识circ2CBA：一种革新循环RNA-RBP结合位点预测的新型深度学习模型”
- 奇异值分解（Singular Value Decomposition，简称SVD），已被解密
学习目标
- 理解重要性：了解数据质量和完整性在今天数据驱动的决策过程中的关键角色。
- 认识挑战：识别大数据在保持数据质量方面带来的独特挑战，重点关注数量、速度和多样性。
- 掌握关键指标：了解关键指标，以确保全面的数据完整性，例如完整性、唯一性和准确性。
- 熟悉工具与警报：了解可用于数据质量检查的开源工具和实时警报系统对快速解决问题的重要性。
为什么要监控数据质量？
仅凭数据本身才能做出数据驱动的决策。
想象一下基于有缺陷的数据做出重要的业务决策。后果可能是灾难性的，导致财务损失甚至声誉受损。
监控数据质量有以下好处：
- 确保可靠性：数据驱动的决策仅仅因数据本身的好坏而判定。想象一下银行处理统一支付接口（UPI）交易。如果银行的数据质量受损，可能导致错误的资金转移、错误的交易或甚至未经授权的访问。正如银行券的真实性对于其具有价值至关重要一样，金融数据的可靠性对于准确和安全的操作至关重要。监控数据质量可以确保财务决策和交易基于准确可靠的数据，维护整个金融系统的完整性。
- 避免昂贵的错误：糟糕的数据可能导致错误的洞察力。后果可能是严重的，从金融机构根据错误提供者进行错误交易，到由于不准确的患者记录数据而误导了治疗方法。监控和确保数据质量有助于减轻这些风险。确保数据质量可能意味着更好的客户定位、准确的财务预测和高效的业务运营。数据质量的好坏可能决定了盈亏的差距。
- 建立信任：利益相关者依赖数据。确保其质量能够巩固他们对您基础设施的信任。数据通常在部门、利益相关者甚至企业之间共享。如果数据质量始终很高，将培养信任。
监控大数据质量的挑战
大数据带来了一系列挑战：
- 数量：庞大的大小使得手动检查几乎不可能。
- 速度：随着数据的快速生成，实时质量检查变得至关重要。
- 多样性：不同的数据类型和来源增加了复杂性。
监控的关键指标
为了有效监控数据质量，您需要专注于特定的指标：
- 完整性：该指标确保所有所需数据都存在。不完整的数据可能导致错误的分析或决策。通过监控完整性，您可以及早发现缺失的数据并采取纠正措施，确保数据集的完整和全面。
- 唯一性：监控唯一性有助于识别和消除可能会扭曲分析结果并导致运营效率低下的重复记录。重复数据还可能引起混乱并导致错误的商业策略。
- 及时性：数据不仅应准确，还应及时。过时的数据可能导致错过机会或错误的战略决策。通过确保数据实时更新或在适当的间隔内更新，您可以确保从中得出的见解与当前业务环境相关。
- 一致性：不一致的数据可能是由于不同的数据源、格式或输入错误等各种原因引起的。确保一致性意味着数据在各方面都符合标准格式和约定，使聚合、分析和解释更容易。
- 准确性：分析和决策的基础就是准确的数据。不准确的数据可能导致错误的策略、财务损失以及对数据驱动决策的信任丧失。监控和确保数据的准确性对于数据洞察的可信度和可靠性至关重要。
工具和技术
有几个开源工具可以帮助维护数据质量。我们将在本博客中讨论其中的两个。
Deequ
Deequ是建立在Apache Spark之上的库，用于高效地检查大型数据集的数据质量约束。它支持定义和检查数据上的约束，并可生成详细的指标。
如上图所示，Deequ 架构建立在 Apache Spark 框架之上，继承了 Spark 的分布式计算能力，可以高效地对大规模数据集进行数据质量检查。其架构基本上是模块化的，以以下为中心：
- 约束条件：数据应满足的规则或条件。用户可以定义自定义约束条件或使用 Deequ 的内置检查。当应用于数据集时，这些约束条件会生成指标，然后存储这些指标，可以分析或用于计算数据质量分数。
- 存储历史数据质量指标能够跟踪数据质量随时间的变化，并帮助识别趋势或异常情况。
- 与 Spark 的 DataFrame API 无缝集成，Deequ 可以轻松集成到现有的数据处理流程中。其可扩展性允许开发人员根据需要添加新的约束和检查。
以下是使用 Deequ 的基本示例：
from pydeequ.checks import *from pydeequ.verification import *check = Check(spark, CheckLevel.Warning, "数据质量验证")result = VerificationSuite(spark).onData(df).addCheck( check.hasSize(_ == 500).hasMin("column1", _ == 0)).run()Apache Griffin
Apache Griffin 是一个开源的数据质量服务工具，用于衡量和提高数据质量。它提供对各种数据平台的数据验证和转换支持。
如上图所示，Graffin 架构是一个应对数据质量挑战的整体解决方案，具有良好的结构化架构，以确保灵活性和稳健性。
在其核心部分，Griffin 在数据质量测量上操作，使用准确性、完整性、及时性等多个维度。
其模块化设计包括几个主要组件：
- 测量模块用于实际质量检查，
- 持久性模块用于存储质量元数据，
- 服务模块用于用户交互和 API 调用，
- 基于 Web 的用户界面提供统一的仪表板，允许用户直观地监控和管理其数据质量指标。
Apache Griffin 设计为平台无关的，可以与多种数据平台无缝集成，从 Flink/Spark 的批处理系统到实时数据流。Apache Griffin 的架构封装了现代数据质量管理的精髓。
以下是使用 Griffin 的基本示例：
您可以先使用这个指南进行设置。设置完成后，我们可以使用以下方法设置数据质量规则并进行测量。
配置文件设置：该文件指定数据源、要计算的指标以及必要的检查。
{ "name": "数据质量检查", "process": { "type": "batch" }, "data.sources": [ { "name": "source", "baseline": true, "connectors": [ { "type": "hive", "version": "1.2", "config": { "database": "default", "table.name": "your_table_name" } } ] } ], "evaluateRule": { "rules": [ { "dsl.type": "griffin-dsl", "dq.type": "accuracy", "out.dataframe.name": "accuracy_check", "rule": "source.id = target.id", "details": { "source": "source", "target": "target" } } ] }}运行数据质量作业
$SPARK_HOME/bin/spark-submit --class org.apache.griffin.core.job.JobLauncher \--master yarn --deploy-mode client \/path-to/griffin-batch.jar \--config /path-to/quality-check.json作业运行后，Griffin将结果存储在其内部数据库或指定的位置。从那里，您可以查询和分析结果，以了解数据的质量。
设置警报
实时监控只有在与即时警报配对时才会生效。通过与Pagerduty、Slack等工具集成或设置电子邮件通知，可以立即收到任何数据质量问题的通知。
然而，更全面的警报和监控解决方案可以使用开源工具，如Prometheus和Alertmanager。
- Prometheus：这个开源系统会抓取并存储时间序列数据。它允许用户为其指标定义警报规则，当满足某些条件时，触发警报。
- Alertmanager：与Prometheus集成，Alertmanager管理这些警报，可以进行去重、分组并将其路由到正确的渠道，如电子邮件、聊天服务或PagerDuty。
请参考此指南了解更多信息。
当然了！对于批处理和实时管道来说，警报至关重要，以确保及时处理和数据完整性。以下是这两种类型管道的一些典型警报场景：
批处理管道的警报
批处理管道通常以预定的时间间隔分块处理数据。以下是对于批处理管道而言可能关键的一些警报：
- 作业失败警报：当批处理作业无法执行或完成时发出通知。
- 异常警报：检测到数据异常时发出警报。例如，批处理中处理的数据量与预期明显不同，这可能表示缺失或多余的数据。
- 处理延迟：当处理批处理所需的时间超过预定义的阈值时发出通知。典型管道需要约1小时，但已经花了超过2小时并且仍未完成。这可能表示处理中存在问题。
- 无成功：尽管监控明确的失败是常见的，但同样重要的是跟踪成功的缺失。可能存在这样的情况，即管道从技术上没有“失败”，但可能在处理中陷入困境，或者由于代码问题而未触发失败度量。您可以设置一个警报，在特定时间段内监视成功信号缺失。
- 数据模式更改：当传入数据有额外字段或缺失所期望的字段时检测到。
- 突然分布更改：如果关键字段的分布发生了显著变化，可能表示潜在问题。
除了这些警报，还可以根据用例和要求定义质量警报。
实时管道的警报
由于数据处理的即时性质，实时管道需要更即时的警报。一些典型的警报包括：
- 流程滞后：当处理滞后于数据摄入时发出警报，表示可能存在处理瓶颈。
- 数据摄入率下降：突然降低的数据摄入速率将通知，可能表示数据源或摄取机制存在问题。
- 错误率激增：当处理中错误率激增时发出警报，表示数据或处理逻辑存在潜在问题。
结论
在数据主导的时代中，数据管道的完整性是洞察性决策的基石。确保数据质量不仅是一种理想，而是一种基本实践，可以保护企业免受错误，并建立信任。凭借Apache Griffin、Deequ和Prometheus等工具的支持，我们有能力维持这一卓越标准，以自信和精确度驾驭大数据的浩瀚海洋。
要点
- 可靠的数据是做出明智决策的基础。有缺陷的数据可能会导致重大的财务和声誉损失。
- 体积、速度和多样性这三个V（Volume，Velocity，Variety）在保证数据完整性方面提出了独特的障碍。
- 监控完整性、唯一性、及时性、一致性和准确性，确保全面的数据完整性。
- 开源工具，如Apache Griffin和Deequ，能够实现高效的数据质量检查，而像Prometheus这样的警报系统则确保实时监控和及时解决问题。
