java kafka中通过consumerrebalancelistener在onpartitionsrevoked()中同步提交即将丢失分区的offset以避免重复消费，onpartitionsassigned()中不提交而按需seek，结合主循环定期提交实现at-least-once语义。
Java Kafka 中通过消费者重平衡监听器（ConsumerRebalanceListener）处理 Offset 提交，核心在于利用其回调方法在分区分配变化前后主动管理 Offset——特别是 onPartitionsRevoked() 中同步提交当前 offset，避免重复消费；onPartitionsAssigned() 中通常不提交，而是按需初始化或跳过，确保语义一致性。
重平衡前主动提交 Offset（onPartitionsRevoked）
当消费者即将失去某些分区（如扩容、宕机、新成员加入），Kafka 会先触发 onPartitionsRevoked。这是提交这些分区当前 offset 的最后可靠时机。
- 必须使用
commitSync()或带超时的commitSync(Map)，不能用异步提交（commitAsync），防止提交未完成就丢失分区 - 传入的
partitions参数即本次将被撤销的分区列表，只提交这部分 offset，避免误提交其他分区 - 若业务使用手动 commit 模式（
enable.auto.commit=false），此处是保障 at-least-once 语义的关键环节
重平衡后不自动提交，按需恢复消费位置
onPartitionsAssigned 在消费者获得新分区后调用，此时不应直接提交 offset——因为刚分配的分区可能尚未开始消费，提交空或旧 offset 可能导致数据跳过。
- 典型做法是：不做 commit，仅记录日志或初始化本地状态（如清空缓存、重置指标）
- 如果启用了
auto.offset.reset（如earliest/latest），Kafka 会自动定位起始 offset，无需手动干预 - 若需从特定 offset 开始（如基于外部存储恢复），可在该方法中调用
seek(topicPartition, offset)，但不要调用commit
结合手动提交策略，避免重复与遗漏
重平衡监听器本身不替代常规 offset 提交逻辑，而是与之协同。推荐搭配“处理完一批消息后同步提交” + “重平衡前兜底提交”的组合策略。
- 主循环中每处理 N 条消息或间隔 T 秒调用
commitSync()，保证正常流程下的提交频率 -
onPartitionsRevoked()作为安全边界：即使主循环因异常中断，只要重平衡发生，仍有机会提交已处理数据 - 注意捕获
CommitFailedException等异常，尤其在revoked中失败时，可记录告警但不应阻塞 rebalance 流程
代码片段示意（关键部分）
注册监听器时传入实现类，重点关注 revoked 中的同步提交：
consumer.subscribe(topics, new ConsumerRebalanceListener() {
@Override
public void onPartitionsRevoked(Collection<topicpartition> partitions) {
if (!partitions.isEmpty()) {
// 只提交即将丢失的分区 offset
consumer.commitSync(partitions.stream()
.collect(Collectors.toMap(tp -> tp, tp -> consumer.position(tp))));
}
}
@Override
public void onPartitionsAssigned(Collection<topicpartition> partitions) {
// 一般不提交，必要时 seek
partitions.forEach(tp -> {
long offset = getOffsetFromStore(tp); // 如从 DB/Redis 查
if (offset >= 0) consumer.seek(tp, offset);
});
}
});
</topicpartition></topicpartition>
Java免费学习笔记：立即使用
解锁 Java 大师之旅：从入门到精通的终极指南
