kafka幂等生产者通过pid、分区和序列号三元组校验确保单会话内消息仅写入一次；需启用enable.idempotence=true、acks=all、retries为最大值、max.in.flight.requests.per.connection≤5。
Kafka 的幂等生产者特性是专为解决网络抖动、超时重试引发的重复写入而设计的，它在单生产者会话内确保同一条消息只被 Broker 写入一次。Java 客户端只需正确配置，就能让 Kafka 自动拦截重复请求，无需业务层做额外去重。
启用幂等性的核心配置
启用幂等性不是加个开关就行，它依赖一组协同工作的参数：
Java JDK 25 来自 OpenJDK 官方归档，版本为 JDK 25，本条下载地址已指向官方 Windows x64 zip 安装包直链，适合调试旧项目或兼容旧版 Java 运行环境。
enable.idempotence = true
必须显式开启，这是触发幂等机制的总开关。acks = "all"（或-1）
幂等性要求所有 ISR 副本都确认写入，否则无法保证序列号校验的一致性。如果设为1或0，客户端启动时会直接抛异常。max.in.flight.requests.per.connection ≤ 5（Kafka ≥ 1.1）
控制未确认请求的最大并发数。超过 5 会导致乱序风险，Broker 拒绝接收并抛出OutOfOrderSequenceException。推荐设为5或更低（如1更保守）。retries建议设为Integer.MAX_VALUE
幂等性与无限重试不冲突——它正是靠重试+序列号校验来兜底的。禁用重试（retries=0）反而会让幂等失效，因为网络抖动时消息直接丢弃，无法进入校验流程。
幂等性如何拦截重复写入
当网络抖动导致 ACK 丢失时，Producer 会重发同一消息。此时关键在于：
Broker 端会检查每条消息携带的 (PID, Partition, Sequence Number) 三元组：
- 第一次收到
(PID=123, p0, SN=5)→ 接受并持久化，记录当前 SN=5 - 重试再发
(PID=123, p0, SN=5)→ SN ≤ 当前 SN → 判定为重复，静默丢弃但返回成功 ACK - 若发
(PID=123, p0, SN=7)→ SN > 当前 SN+1 → 认定乱序，抛异常中断
整个过程对业务代码完全透明，你调用 producer.send()，无论底层重试多少次，最终 Topic 分区里只有一条。
注意事项和边界限制
- 重启即新会话：Producer 进程重启后获得新 PID，旧会话的序列号状态清零。所以幂等性只保障“单实例生命周期内”的精确一次，不跨重启。
- 不跨生产者实例：两个不同 Producer 实例（哪怕配置相同）拥有不同 PID，各自维护序列号，无法互相识别重复。
-
仅限普通发送，不覆盖事务消息：幂等性与事务（
transactional.id）可共存，但事务有更广的语义（如跨分区原子写入），幂等只是它的基础能力之一。
Java 示例片段
Properties props = new Properties();
props.put("bootstrap.servers", "kafka1:9092,kafka2:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("enable.idempotence", "true"); // 必开
props.put("acks", "all");
props.put("retries", String.valueOf(Integer.MAX_VALUE));
props.put("max.in.flight.requests.per.connection", "5");
KafkaProducer<string string> producer = new KafkaProducer(props);
producer.send(new ProducerRecord("my-topic", "key", "value"));</string>
只要配置合规，网络抖动带来的重试就不再等于重复数据——Broker 已经替你把关了。
Java免费学习笔记：立即使用
解锁 Java 大师之旅：从入门到精通的终极指南
