搜索

首页 >Java >java教程 >Apache Camel 与 Quarkus 实用指南：构建 ETL 应用程序

Apache Camel 与 Quarkus 实用指南：构建 ETL 应用程序

王林
王林原创
2024-09-03 12:45:31369浏览

我很高兴向大家介绍一系列有关 Apache Camel 的文章。在第一篇文章中，我将介绍一个实际用例来展示其功能，而不是深入研究 Apache Camel 的复杂性。具体来说，您将学习如何使用 Apache Camel 在两个数据库之间创建简单的提取、转换和加载 (ETL) 应用程序。

Apache Camel 简介 - 简要概述

在深入实际用例之前，我们先简单介绍一下 Apache Camel。 Apache Camel 是一个开源集成框架，它利用企业集成模式（EIP）来促进各种系统的集成。

当今世界，众多不同类型的系统并存。有些可能是遗留系统，而另一些则是新系统。这些系统通常需要相互交互和集成，由于不同的实现和消息格式，这可能具有挑战性。一种解决方案是编写自定义代码来弥合这些差异，但这可能会导致紧密耦合和维护困难。

相反，Apache Camel 提供了一个额外的层来调解系统之间的差异，从而实现松散耦合并更易于维护。 Camel 使用 API（或声明性 Java 域特定语言）来配置基于 EIP 的路由和中介规则。

企业集成模式 (EIP)

要了解 Apache Camel，掌握“企业集成模式”(EIP) 很重要。 《企业集成模式》一书描述了一组用于设计大型基于组件的系统的模式，其中组件可以在同一进程或不同机器上运行。关键思想是系统应该是面向消息的，组件通过消息进行通信。这些模式提供了用于实现这些通信的工具包（图 1）。

Practical Guide to Apache Camel with Quarkus: Building an ETL Application

图 1 – 集成解决方案的基本元素 (enterpriseintegrationpatterns.com)

Apache Camel 中的关键术语

  • 端点：端点是发送和接收消息的通道。它充当组件与外界之间的接口。

  • 消息：消息是用于系统之间通信的数据结构，由消息头和消息体组成。标头包含元数据，正文包含实际数据。

  • 通道：通道连接两个端点，方便消息的发送和接收。

  • 路由器：路由器将消息从一个端点定向到另一个端点，确定消息路径。

  • 翻译器：翻译器将消息从一种格式转换为另一种格式。

关于 Apache Camel 的介绍我考虑就到此为止。现在让我们向您展示如何使用 Apache Camel 在两个数据库之间创建简单的 ETL 应用程序。

问题陈述

假设我们有一个高负载的系统，其中一个关键组件是数据库。在某些时候，我们需要在通常的操作案例之外处理这些数据 - 训练 ML 模型、生成导出、图表，或者我们只需要数据的某些部分。当然，这会给我们的操作数据库带来更大的负担，为此，最好有一种机制，通过它我们可以提取必要的数据，将其转换为我们需要的形式，并将其存储在另一个数据库中 - 其他比操作性的。通过这一策略，我们解决了运营基地潜在超载的问题。而且，通过这样的机制，我们可以在系统负载不太大的时候（例如夜间）执行此操作。

解决方案概述

解决方案如下图所示（图2）。我们将使用 Apache Camel 在两个数据库之间创建一个简单的 ETL 应用程序。该应用程序将从源数据库中提取数据，对其进行转换，然后将其加载到目标数据库中。我们可以引入不同的策略来实现这个解决方案，重点关注如何从源数据库中提取数据。我假设选择数据的标准将基于记录的修改日期。此策略也提供了提取已修改数据的机会。

Practical Guide to Apache Camel with Quarkus: Building an ETL Application

图 2 – 使用 Apache Camel 在两个数据库之间同步数据

源数据库和目标数据库将具有以下表结构：

CREATE TABLE IF NOT EXISTS user
(
    id            serial PRIMARY KEY,
    username      VARCHAR(50)  NOT NULL,
    password      VARCHAR(50)  NOT NULL,
    email         VARCHAR(255) NOT NULL,
    created_at    timestamp default now()::timestamp without time zone,
    last_modified TIMESTAMP DEFAULT now()::timestamp without time zone
);

在目标数据库中，我们将在插入之前将用户名转换为大写。

我们将使用 Camel Quarkus 扩展来实现各种 Camel 组件。具体来说，我们将使用 Camel SQL 组件与数据库进行交互。 SQL组件支持执行SQL查询、插入、更新和删除。

首先，创建一个扩展 RouteBuilder 的类并重写配置方法：

@ApplicationScoped
public class UserRoute extends RouteBuilder {
    @Override
    public void configure() throws Exception {
        // your code here
    }
}

这里不强制使用 @ApplicationScoped 注解，但我更愿意表明该类是一个 CDI bean，并且应该由 CDI 容器管理。

正如我上面提到的，我们将使用 Camel SQL 组件与数据库交互。我们需要配置Camel SQL组件来连接源数据库和目标数据库。我们将使用 Quarkus Agroal 扩展来配置数据源。 Agroal 扩展为数据源提供了一个连接池。我们将在 application.properties 文件中配置数据源。

#
# Source Database Configuration
quarkus.datasource.source_db.db-kind=postgresql
quarkus.datasource.source_db.jdbc.url=jdbc:postgresql://localhost:5001/demo
quarkus.datasource.source_db.username=test
quarkus.datasource.source_db.password=password1
#
#
# Target Database Configuration
quarkus.datasource.target_db.db-kind=postgresql
quarkus.datasource.target_db.jdbc.url=jdbc:postgresql://localhost:6001/demo
quarkus.datasource.target_db.username=test
quarkus.datasource.target_db.password=password1
#

现在我们可以配置Camel SQL组件来连接源数据库和目标数据库。我们将使用 sql 组件为源数据库和目标数据库创建 SQL 端点。

SQL 组件使用以下端点 URI 表示法：

sql:select * from table where id=# order by name[?options]

但是我们需要机制来自动运行该操作。我们将使用计时器组件每秒触发一次 ETL 过程。计时器组件用于在计时器触发时生成消息交换。计时器组件使用以下端点 URI 表示法：

timer:name[?options]

在我们的路线中，我们使用如下配置：

 from("timer://userSync?delay={{etl.timer.delay}}&period={{etl.timer.period}}")

{{etl.timer.delay}} 和 {{etl.timer.period}} 是我们将在 application.properties 文件中定义的配置值。

etl.timer.period=10000
etl.timer.delay=1000

为了在将数据插入目标数据库之前转换数据，我们需要提供翻译器：

.process(exchange -> {
    final Map<String, Object> rows = exchange.getIn().getBody(Map.class);

    final String userName = (String) rows.get("username");

    final String userNameToUpperCase = userName.toUpperCase();

    log.info("User name: {} converted to upper case: {}", userName, userNameToUpperCase);

    rows.put("username", userNameToUpperCase);
})

处理器接口用于实现消息交换的使用者或实现消息转换器和其他用例。

瞧，我们使用 Apache Camel 在两个数据库之间建立了一个简单的 ETL 应用程序。

运行应用程序时，您应该在日志中看到以下输出：

2024-06-09 13:15:49,257 INFO  [route1] (Camel (camel-1) thread #1 - timer://userSync) Extracting Max last_modified value from source database
2024-06-09 13:15:49,258 INFO  [route1] (Camel (camel-1) thread #1 - timer://userSync) No record found in target database
2024-06-09 13:15:49,258 INFO  [route2] (Camel (camel-1) thread #1 - timer://userSync) The last_modified from source DB: 
2024-06-09 13:15:49,274 INFO  [route2] (Camel (camel-1) thread #1 - timer://userSync) Extracting records from source database
2024-06-09 13:15:49,277 INFO  [org.iqn.cam.rou.UserRoute] (Camel (camel-1) thread #1 - timer://userSync) User name: john_doe converted to upper case: JOHN_DOE
2024-06-09 13:15:49,282 INFO  [org.iqn.cam.rou.UserRoute] (Camel (camel-1) thread #1 - timer://userSync) User name: jane_smith converted to upper case: JANE_SMITH
2024-06-09 13:15:49,283 INFO  [org.iqn.cam.rou.UserRoute] (Camel (camel-1) thread #1 - timer://userSync) User name: alice_miller converted to upper case: ALICE_MILLER

您可以在 GitHub 存储库中找到该应用程序的完整源代码。

结论

通过此设置，我们使用 Apache Camel 创建了一个简单的 ETL 应用程序，该应用程序从源数据库中提取数据，对其进行转换，然后将其加载到目标数据库中。这种方法有助于减少操作数据库的负载，并允许我们在非高峰时间执行数据提取。

以上是Apache Camel 与 Quarkus 实用指南：构建 ETL 应用程序的详细内容。更多信息请关注PHP中文网其他相关文章！

Java sql define for while date format using class Interface channel this transform table github idea database etl apache router
声明：
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
上一篇：Demystifying CPF and CNPJ Check Digit Algorithms: A Clear and Concise Approach下一篇：Exploring Core Features and Components of Apache Camel

相关文章

查看更多