在 Spring Boot 中使用 Kafka 消费者时，通过合理配置 auto-offset-reset 策略、启用自动提交偏移量（或手动提交），并结合消费者组（group-id）的持久化机制，可确保应用重启后从上次消费位置继续处理，避免重复入库。
在 spring boot 中使用 kafka 消费者时，通过合理配置 `auto-offset-reset` 策略、启用自动提交偏移量（或手动提交），并结合消费者组（group-id）的持久化机制，可确保应用重启后从上次消费位置继续处理，避免重复入库。
Kafka 消费者重复消费问题的核心在于 偏移量（offset）管理。Spring Boot 默认使用 spring-kafka 自动管理消费者组的 offset 提交行为。只要配置得当，消费者重启后会自动从上一次成功提交的 offset 处继续拉取消息——而非从头或从最新开始，从而天然规避重复消费。
✅ 正确配置的关键点
固定且唯一的
group-id
如您配置中的myGroup，这是 Kafka 识别消费者归属和持久化 offset 的依据。切勿每次启动都动态生成 group-id，否则 Kafka 将视为全新消费者组，无法复用历史 offset。-
禁用
auto-offset-reset: earliest（生产环境慎用）
当前配置中auto-offset-reset: earliest是问题根源：它仅在消费者组首次启动且无任何已提交 offset 时生效；但一旦消费者成功运行并提交过 offset，后续重启将忽略该配置，直接从已提交位置恢复。
✅ 推荐保持默认值（latest）或显式设为latest—— 它更安全，因为：- 首次启动时从最新消息开始（避免积压旧消息干扰）
- 后续重启严格依赖已提交的 offset，不重置
启用 offset 自动提交（默认开启）
Spring Kafka 默认启用enable-auto-commit: true（对应auto-commit-interval-ms: 5000），即每 5 秒批量提交已处理消息的 offset。若需更高可靠性，建议改为手动提交：
@KafkaListener(topics = "user", groupId = "myGroup")
public void listen(String message, Acknowledgment ack) {
try {
// 保存到数据库（需幂等设计，见下文）
userRepository.save(parseUser(message));
// 手动提交 offset（确保 DB 写入成功后才提交）
ack.acknowledge();
} catch (Exception e) {
log.error("处理消息失败", e);
throw e; // 触发重试或进入死信队列
}
}
⚠️ 注意：手动提交需配合
@EnableKafka和容器工厂配置factory.getContainerProperties().setAckMode(AckMode.MANUAL);
? 进阶防护：数据库写入幂等性
即使 offset 管理完美，网络分区、消费者崩溃等极端情况仍可能导致“已处理但未提交 offset”。因此，业务层必须实现幂等：
- 方案一：以消息 Key（如用户 ID）或自定义唯一 ID（如
messageId）作为数据库主键/唯一索引，插入时忽略重复； - 方案二：先查后插（
INSERT ... ON CONFLICT DO NOTHINGfor PostgreSQL）； - 方案三：维护一张
processed_messages表记录已处理的 offset 或消息指纹（SHA-256），消费前校验。
? 总结
| 配置项 | 推荐值 | 说明 |
|---|---|---|
group-id |
固定字符串（如 myGroup） |
唯一标识消费者组，offset 持久化基础 |
auto-offset-reset |
latest（默认） |
避免首次启动误读历史积压；重启时自动沿用已提交 offset |
enable-auto-commit |
true（默认）或手动提交 |
手动提交更可控，需配合 AckMode.MANUAL
|
| 数据库操作 | 必须幂等 | 使用唯一约束、upsert 或状态表防止重复写入 |
只要 group-id 不变、Kafka 集群正常、消费者正确提交 offset（无论自动或手动），重启后消费者将无缝续接，1000 条消息只会被处理一次。
