什么是ETL？热门ETL工具
ETL是什么？热门工具
提取、转换和加载被称为ETL。ETL是从多个源收集数据，对其进行标准化，然后将其传输到中央数据库、数据湖、数据仓库或数据存储中进行进一步分析的过程。
ETL过程将来自多个源的结构化或非结构化数据转换为简单的格式，以便您的员工能够理解并定期使用。参与端到端ETL过程的每个步骤包括：
1. 数据提取
提取的数据从一个或多个源中检索，包括结构化和非结构化数据。这些源包括网站、移动应用、CRM平台、本地数据库、遗留数据系统、分析工具和SaaS平台。在检索完成后，数据加载到一个暂存区，准备进行转换。
2. 数据转换
转换阶段通过清理和格式化提取的数据，将其准备好存储在您选择的数据库、数据存储、数据仓库或数据湖中。目标是使数据准备好在目标存储中进行查询。
3. 加载
将准备好的数据移动到目标数据库、数据集、数据集线中心、数据仓库或数据湖中称为加载。数据可以通过两种方式进行加载：逐步增量加载或一次性全部加载。数据也可以按批次计划加载或实时加载。
增量数据加载通过将传入数据与现有数据进行比较来消除重复。在总加载期间，每个离开转换装配线的项目都会被运送到最终仓库或存储库。
ETL工具的作用是什么？
使用ETL工具可以自动完成整个ETL过程。ETL解决方案采用多种数据管理策略来自动化提取、转换和加载（ETL）过程，减少错误并加快数据集成速度。
还有更多。ETL工具的应用案例包括：
- 自动化处理、管理和接收大量结构化和非结构化数据，本地和云端。
- 安全地将数据传送到适当的分析位置。
- 将它们放入历史背景中，可以使评估、评估和理解当前和历史数据集变得更简单。
- 将数据库从诸如MongoDB、Cloud SQL for MySQL、Oracle、Microsoft SQL Server和AWS RedShift等来源复制到云数据仓库。ETL工具可用于定期或连续更新您的数据。
- 将您的现场数据、应用和工作流程迁移到云端。
- 将数据从多个物联网设备传输到一个位置，以便进一步分析。
- 将社交网络、在线分析和客户服务的数据合并到一个位置进行更全面的分析。
最受欢迎的ETL工具:
Integrate.io
Integrate.io是一个为电子商务创建的数据仓库集成平台。Integrate.io帮助电子商务企业建立对其客户的全面视角，为数据驱动的决策创建一个统一的数据源，通过改进运营洞察力提升消费者洞察力，并提高投资回报率。
Skyvia
Skyvia是由Devart创建的云数据平台，可以实现无代码数据集成、备份、管理和访问。Devart公司是一家知名可靠的数据访问解决方案、开发工具、数据库工具和其他软件产品供应商，在两个研发部门拥有超过40,000名感激的客户。
Skyvia支持CSV文件、数据库（Oracle、SQL Server、PostgreSQL、MySQL）、云数据仓库（Google BigQuery、Amazon Redshift）和云应用（Amazon Redshift、Google BigQuery），提供了多样化的数据集成方案（HubSpot、Salesforce、Dynamics CRM等）的ETL解决方案。
还包括在线SQL客户端、云数据备份工具和OData服务器即服务选项。
IRI Voracity
Voracity的基于CoSort引擎的“可承受速度和容量”的价值以及其强大的内置数据发现、集成、迁移、治理和分析功能使其成为一款受欢迎的本地和云端ETL和数据管理平台。
Voracity支持数百种数据源，并立即将BI和可视化目标作为“生产分析平台”进行数据提供。
Voracity平台的用户可以创建批处理或实时操作，集成之前优化的E、T和L活动，或者出于价格或性能等原因，选择“加速或离开”当前的ETL解决方案，比如Informatica。Voracity的速度与Ab Initio相当，尽管Pentaho更昂贵。
Dataddo
Dataddo是一个基于云的ETL平台，无需编码，为技术和非技术用户提供灵活的数据集成。通过大量的连接器和完全可定制的指标，Dataddo使构建数据流水线的过程变得简单。
Dataddo与您当前的工作流程和数据架构无缝集成。通过其用户友好的界面和简单的设置过程，您可以专注于集成数据，完全托管的API消除了对持续流水线维护的需求。
DBConvert Studio By SLOTIX s.r.o.
DBConvert Studio是一个用于本地和云数据库的数据ETL解决方案。它可以在许多数据库格式之间提取、转换和加载数据，包括来自Amazon RDS、Amazon Aurora、Microsoft Azure SQL、Google Cloud、Oracle、MySQL、MS SQL、PostgreSQL、MS FoxPro、Firebird、SQLite、MS Access和DB2的云数据。
使用GUI模式来微调迁移选项并开始转换或同步执行。可以安排命令行方法保存的作业的执行。
单向或双向数据迁移和同步都是可能的。初始情况下，DBConvert studio与数据库建立并发连接。然后，通过创建不同的作业跟踪迁移/复制过程。
可以复制数据库对象和结构，可以选择是否复制数据。每个项目都可以进行检查和调整，以避免任何潜在的错误。
Informatica – PowerCenter \sPowerCenter
Informatica是一家拥有500多个国际合作伙伴和每月超过一万亿次交易的数据管理公司。成立于1993年，总部位于美国加利福尼亚州，年收入10.5亿美元，员工约4000人。
Informatica创建了PowerCenter产品作为集成数据的手段。PowerCenter可以从任何来源和任何数据类型中组合大量数据。它为组织提供重要的数据和收益，同时支持数据集成生命周期。
IBM – Infosphere Information Server
IBM是一家全球软件企业，成立于1911年，总部位于美国纽约，办事处遍布170多个国家。截至2016年，其年收入为799.1亿美元，拥有38万名员工。
IBM的Infosphere Information Server产品于2008年创建。它是数据集成平台的先驱，支持理解和提供强大的商业价值。大型企业和大数据公司是其主要目标市场。
Oracle Data Integrator
Oracle成立于1977年，是一家总部位于美国加利福尼亚州的美国跨国公司。截至2017年，它拥有13.8万名员工，年总收入为377.2亿美元。
Oracle Data Integrator（ODI）是一个用于创建和管理数据集成的图形化平台。它是一个完整的数据集成平台，支持SOA启用的数据服务和大容量数据。需要定期迁移的大型企业应使用此产品。
Microsoft – SQL Server Integrated Services (SSIS)
Microsoft Corporation是一家1975年成立的总部位于华盛顿的美国跨国公司。它拥有12.4万名员工，年收入为899.5亿美元。
Microsoft创建了SSIS，这是一个专为数据迁移而设计的解决方案。由于数据的集成和转换在内存中处理，因此数据集成速度更快。SSIS仅支持Microsoft SQL Server，因为它是微软产品。
Ab Initio
Ab Initio是一家私人美国软件公司，总部位于美国马萨诸塞州，办事处遍布日本、法国、英国、波兰、德国、新加坡和澳大利亚，成立于1995年。高容量数据处理和应用集成是Ab Initio的两个专业领域。
它有六个数据处理工具，包括协调系统、组件库、数据分析器、图形开发环境、企业元环境和执行平台。”Ab Initio Co>Operating System”是一个支持拖放操作的基于GUI的ETL工具。
Talend – Talend Open Studio for Data Integration
Talend是一家位于加利福尼亚州的软件公司，成立于2005年。目前大约有600人在该公司工作。
该公司最初推出的Talend Open Studio for Data Integration于2006年发布。它是一个用于数据集成的平台，可以促进数据监控和集成。该公司提供数据管理、数据准备、企业应用集成和其他数据相关任务的服务。支持数据仓库、迁移和分析。
CloverDX数据集成软件
CloverDX为中型到企业级企业提供了帮助解决全球最具挑战性的数据管理困难。
通过强大的开发工具、可扩展的自动化、编排后端和专为数据密集型操作而构建的强大且无限适应的环境，CloverDX数据集成平台为企业提供了帮助。
自2002年成立以来，CloverDX已经发展成一个拥有100多名员工的团队，其中包括来自不同行业的开发人员和顾问，他们在全球范围内帮助企业掌握他们的数据。
Pentaho数据集成
软件供应商Pentaho销售Pentaho数据集成（PDI），也称为Kettle。它的服务包括数据集成、挖掘和STL能力。其总部位于美国佛罗里达州。日立数据系统于2015年收购了Pentaho。
借助Pentaho数据集成，用户可以从不同的来源清理和准备数据，并在应用程序之间传输数据。作为Pentaho商业智能套件的组成部分，PDI是一项开源技术。
Apache Nifi
美国马里兰州是Apache软件基金会（ASF）的所在地，该基金会成立于1999年。根据ASF的条款，它创建免费、Apache许可证的开源软件。Apache软件基金会是Apache Nifi软件项目背后的组织。
通过自动化，Apache Nifi使数据在不同系统之间的移动变得更加容易。用户可以自定义构成数据流的处理器。这些数据流可以作为模板存档，然后在将来与更复杂的流组合。然后，这些复杂的流可以轻松部署到多个服务器上。
SAS – 数据集成工作室
SAS数据集成工作室是一个用于创建和管理数据集成流程的图形用户界面。
数据源可以是任何用于集成过程的平台或应用程序。它包括强大的转换逻辑，允许开发人员创建、计划、执行和跟踪作业。
SAP – BusinessObjects数据集成器
数据集成和ETL工具称为BusinessObjects数据集成器。它主要由数据集成设计师和作业服务器组成。BusinessObjects的数据集成过程分为四个步骤：数据剖析、数据统一、数据审计和数据清理。
使用SAP BusinessObjects数据集成器，可以将数据从任何来源提取并放入任何数据仓库中。
Oracle Warehouse Builder
Oracle Warehouse Builder是由Oracle发布的ETL工具（OWB）。数据集成过程是通过图形环境构建和管理的。
为了集成目的，OWB在数据仓库中使用多种数据源。数据剖析、数据清理、完全集成的数据建模和数据审计构成了OWB的关键能力。OWB通过Oracle数据库连接许多第三方数据库，并从多个来源转换数据。
Jasper
Jaspersoft是数据集成领域的先驱，成立于1991年，总部位于加利福尼亚州。它从多个来源获取数据，并将其提取、转换和加载到数据仓库中。
Jaspersoft是Jaspersoft商业智能套件的一部分。Jaspersoft ETL是一种具有高性能ETL功能的数据集成平台。
Improvado
市场营销人员可以使用数据分析程序Improvado将其所有数据保存在一个位置。使用这个市场营销ETL平台，您可以将营销API连接到任何可视化工具，而无需任何技术知识。
它可以连接到100多种不同类型的数据源。这些数据源将能够连接到并由单个平台管理，无论它是在现场还是在云中。它提供了一系列连接器来连接数据源。
Matillion
对于云数据仓库而言，Matillion是一种数据转换解决方案。为了快速组合大量数据集并执行必要的数据转换，以准备数据进行分析，Matillion利用了云数据仓库的能力。
该系统专门用于从不同的数据源中提取数据，将其加载到企业首选的云数据仓库中，然后将数据从其孤立的状态转换为准确、合并在一起且可用于分析的数据。它与Amazon Redshift、Snowflake和Google BigQuery合作。
Cognos Data Manager
使用IBM Cognos Data Manager进行高性能的商业智能和ETL流程。
它具有多语言支持的独特特性，可用于构建全球数据集成平台。IBM Cognos Data Manager支持Windows、UNIX和Linux平台，可自动化业务流程。
Pervasive Data Integrator
ETL工具包括Pervasive Data Integrator工具。快速连接任何数据源和应用程序非常有益。
它是一个强大的数据集成平台，可实现实时数据的移动和交换。该工具的组件可以重用并多次部署，因为它们是可重复使用的。
