如何在 Flink 中高效分流 Kafka 数据并分发至多路下游处理逻辑

轻明大大_1948

轻明大大_1948

2026-07-31

480人浏览

原创

如何在 Flink 中高效分流 Kafka 数据并分发至多路下游处理逻辑

本文详解如何基于 Apache Flink(1.17)实现低延迟、高可用的 Kafka 数据动态分流,避免多 execute() 阻塞问题,推荐使用侧输出(Side Output)或主题路由方案替代错误的多作业混跑模式。

本文详解如何基于 apache flink(1.17)实现低延迟、高可用的 kafka 数据动态分流,避免多 `execute()` 阻塞问题,推荐使用侧输出(side output)或主题路由方案替代错误的多作业混跑模式。

在 Flink 应用开发中,一个常见误区是将多个逻辑独立的处理流程封装为多个 StreamExecutionEnvironment.execute() 调用(如 Job1.consumeDataStream(...) 内部再次调用 env2.execute()),这会导致串行阻塞执行:第二个作业必须等待第一个作业完全结束才能启动,严重违背流式处理“持续运行、低延迟”的设计初衷。根据 Flink 官方文档,execute() 是同步阻塞方法;即使改用 executeAsync(),多作业共存也会牺牲高可用性(HA 不支持 Application Mode 下的多作业场景),且任一作业异常失败将导致整个 JobManager 关闭——这对生产系统是不可接受的风险。

✅ 正确解法:单作业内完成分流与并行处理
应将整个数据流拓扑构建在一个 StreamExecutionEnvironment 中,通过以下两种推荐方式实现“一源多路”:

方案一:使用 Side Output(侧输出)——轻量、低延迟、强一致性

适用于分流规则固定、下游处理逻辑耦合度较高(如共享状态、需统一 checkpoint)的场景。核心是定义多个 OutputTag,在 ProcessFunction 或 FlatMapFunction 中按条件将数据路由到不同侧输出通道:

// 定义侧输出标签
private static final OutputTag<string> TAG_DATA1 = new OutputTag("data1") {};
private static final OutputTag<string> TAG_DATA2 = new OutputTag("data2") {};
private static final OutputTag<string> TAG_DATA3 = new OutputTag("data3") {};

// 主流处理:解析 JSON 并分流
DataStream<objectnode> jsonStream = sourceStream.map(mapper::readTree);

// 使用 ProcessFunction 实现精准分流(替代多次 flatMap)
SingleOutputStreamOperator<objectnode> splitStream = jsonStream.process(new ProcessFunction<objectnode objectnode>() {
    @Override
    public void processElement(ObjectNode node, Context ctx, Collector<objectnode> out) throws Exception {
        JsonNode components = node.get("component");
        if (components != null && components.isArray()) {
            for (JsonNode comp : components) {
                String code = comp.get("code").asText();
                if ("data1".equals(code)) {
                    ctx.output(TAG_DATA1, comp.get("hr").toString());
                } else if ("data2".equals(code)) {
                    ctx.output(TAG_DATA2, comp.get("hr").toString());
                } else if ("data3".equals(code)) {
                    ctx.output(TAG_DATA3, comp.get("value").toString());
                }
            }
        }
    }
});

// 提取各侧输出流
DataStream<string> data1Stream = splitStream.getSideOutput(TAG_DATA1);
DataStream<string> data2Stream = splitStream.getSideOutput(TAG_DATA2);
DataStream<string> data3Stream = splitStream.getSideOutput(TAG_DATA3);

// 各路独立处理(并行执行,共享 checkpoint)
data1Stream.map(value -> {
    // 调用 Flask API(建议异步非阻塞,见下方注意事项)
    RestAssured.given()
        .header("Content-Type", "application/json")
        .body("{\"data\":\"" + value + "\"}")
        .post("http://localhost:5002/fhr1");
    return "processed-by-job1:" + value;
}).name("Job1-Processor");

data2Stream.map(value -> {
    RestAssured.given()
        .header("Content-Type", "application/json")
        .body("{\"data\":\"" + value + "\"}")
        .post("http://localhost:5002/job2");
    return "processed-by-job2:" + value;
}).name("Job2-Processor");

// 共享 data3 流可被多路复用
data3Stream.map(value -> {
    // 可同时发送至多个 API 端点
    sendToFlask("http://localhost:5002/common", value);
    return "common-" + value;
}).name("Common-Processor");</string></string></string></objectnode></objectnode></objectnode></objectnode></string></string></string>

方案二:Kafka 主题路由 —— 高解耦、易扩展、天然 HA

若各下游任务逻辑差异大、部署独立或需横向扩缩容,推荐将分流结果写入不同 Kafka Topic,再由独立 Flink 作业消费:

提客AI提词器
提客AI提词器

一款AI视频创作工具,主要用于「直播、录课」智能AI提词,搭配抖音直播伴侣、腾讯会议、钉钉、飞书、录课等软件等任意软件,适合需要提升相关任务效率的用户。

下载
// 分流后分别写入不同 topic
data1Stream.sinkTo(KafkaSink.<string>builder()
    .setBootstrapServers("localhost:9092")
    .setTopic("job1-input")
    .setRecordSerializer(KafkaRecordSerializationSchema.builder()
        .setValueClassType(String.class)
        .build())
    .build());

data2Stream.sinkTo(KafkaSink.<string>builder()
    .setBootstrapServers("localhost:9092")
    .setTopic("job2-input")
    .setRecordSerializer(...)
    .build());

data3Stream.sinkTo(KafkaSink.<string>builder()
    .setBootstrapServers("localhost:9092")
    .setTopic("common-input")
    .build());</string></string></string>

✅ 优势:每个下游作业可独立启停、扩缩容、升级;天然支持 Flink 高可用(Per-Job 模式);运维清晰,故障隔离。

⚠️ 关键注意事项

  • 禁止同步 HTTP 调用阻塞流:示例中 RestAssured.post() 是同步阻塞操作,会显著拖慢吞吐、升高延迟(当前 10s 根源)。应改用异步 HTTP 客户端(如 OkHttp + Callback / CompletableFuture)或消息队列(如 Kafka)解耦。
  • 移除 DataStreamUtils.collect():该方法会触发全量收集并阻塞执行,彻底破坏流式语义,仅用于调试,绝不可用于生产。
  • 校验并行度与资源:设置 env.setParallelism(4) 并确保 TaskManager 资源充足,避免因反压导致延迟飙升。
  • 启用 Checkpointing:添加 env.enableCheckpointing(5000) 保障 Exactly-Once 语义。

通过以上重构,端到端延迟可稳定控制在 毫秒级(:侧输出方案消除了进程级调度开销;Kafka 路由方案则利用其高吞吐与水平扩展能力。选择哪种方案取决于业务耦合度与运维复杂度权衡——但无论如何,单作业、无阻塞、异步化 是 Flink 高性能实践的核心原则。

相关文章

Kafka Eagle可视化工具
Kafka Eagle可视化工具

Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等,有需要的小伙伴快来保存下载体验吧!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
kafka消费者组有什么作用
kafka消费者组有什么作用

kafka消费者组的作用:1、负载均衡;2、容错性;3、广播模式;4、灵活性;5、自动故障转移和领导者选举;6、动态扩展性;7、顺序保证;8、数据压缩;9、事务性支持。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.01.12

3506

5

kafka消费组的作用是什么
kafka消费组的作用是什么

kafka消费组的作用:1、负载均衡;2、容错性;3、灵活性;4、高可用性;5、扩展性;6、顺序保证;7、数据压缩;8、事务性支持。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

750

5

rabbitmq和kafka有什么区别
rabbitmq和kafka有什么区别

rabbitmq和kafka的区别:1、语言与平台;2、消息传递模型;3、可靠性;4、性能与吞吐量;5、集群与负载均衡;6、消费模型;7、用途与场景;8、社区与生态系统;9、监控与管理;10、其他特性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

724

5

Java 流式处理与 Apache Kafka 实战
Java 流式处理与 Apache Kafka 实战

本专题专注讲解 Java 在流式数据处理与消息队列系统中的应用,系统讲解 Apache Kafka 的基础概念、生产者与消费者模型、Kafka Streams 与 KSQL 流式处理框架、实时数据分析与监控,结合实际业务场景,帮助开发者构建 高吞吐量、低延迟的实时数据流管道,实现高效的数据流转与处理。

2026.02.04

790

32

Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

2026.11.20

0

7

Navicat入门教程大全
Navicat入门教程大全

本专题整理Navicat入门教程,从认识软件界面到开展数据库操作,介绍初次使用需要了解的知识和方法。内容兼顾连接配置、数据管理及日常使用中的疑问,方便用户按学习进度查阅,为后续实践和独立操作打好基础。

2026.11.20

0

17

Navicat数据库连接配置指南
Navicat数据库连接配置指南

从确认数据库信息到建立可用连接,本专题串联Navicat连接数据库的相关知识和操作方法。既有初次配置时需要了解的基础内容,也有连接后的检查思路,方便用户按实际需求查阅教程,逐步熟悉数据库连接的设置流程。

2026.11.20

0

10

PHP8.6数组与数据处理教程
PHP8.6数组与数据处理教程

本专题汇总PHP8.6数组与数据处理教程,涵盖CSV读取和导出、引用遍历删除、array_filter回调模式、配置键名冲突、pathinfo文件名校验、GMP大整数进制转换及UTF-8正则筛选,说明升级兼容变化、输入范围和失败处理方法。

2026.11.20

0

8

PHP8.6升级迁移教程
PHP8.6升级迁移教程

本专题汇总PHP8.6升级迁移与弃用接口改造教程,涵盖反射调用、对象属性赋值、标识符更名、构造函数与__debugInfo调整,以及插件类名检查、常量导出、ArrayIterator排序、SPL和DTO查询参数转换,帮助梳理弃用提示并完成代码兼容改造。

2026.11.20

0

10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习