kafka 消费者在禁用自动提交（enable.auto.commit=false）且未手动提交位移时，消息不会被标记为“已处理”；重启消费者或发生再平衡后，将重新拉取相同分区中未提交位移处的消息，从而导致重复消费。
kafka 消费者在禁用自动提交（enable.auto.commit=false）且未手动提交位移时，消息不会被标记为“已处理”；重启消费者或发生再平衡后，将重新拉取相同分区中未提交位移处的消息，从而导致重复消费。
在 Kafka 中，消息的“重投递”并非由超时触发，而是由消费者组协调机制和位移（offset）提交状态共同决定。你提供的配置中：
- enable.auto.commit=false：关闭自动提交，位移需显式调用 commitSync() 或 commitAsync() 才会持久化；
- max.poll.records=1：每次最多拉取 1 条记录，降低单次处理压力；
- auto.offset.reset=latest：仅在无有效提交位移时（如首次启动或位移过期），从最新消息开始消费；
- group.id="processor-1"：属于同一消费者组的实例共享位移管理。
关键点在于：Kafka 本身不提供“消息未确认超时后转交其他消费者”的语义（即无类似 RabbitMQ 的 TTL + DLX 或 nack 重入队列机制）。它依赖的是 消费者组再平衡（rebalance） + 位移提交（commit） 来界定消息归属。
? 消息何时会被“再次消费”？
- ✅ 消费者进程重启：因未提交位移，新实例将从上一次提交的 offset（或 auto.offset.reset 策略）处开始拉取 —— 若从未提交，则按 latest 从最新位移开始（可能跳过历史消息）；但若之前已成功拉取某条消息（如 offset=100），而未提交，重启后仍会从 offset=100 开始（前提是该位移仍在日志保留窗口内，且 auto.offset.reset=earliest 或位移有效）。
- ✅ 消费者组发生再平衡（如新增/下线消费者、网络抖动、心跳超时）：当前持有分区的消费者若未能及时发送心跳（默认 session.timeout.ms=45s，heartbeat.interval.ms=3s），Broker 会将其踢出组，并触发 rebalance。此时：
- 若原消费者（consumer-1）尚未提交 offset=100，该分区将被分配给 consumer-2；
- consumer-2 启动后调用 poll()，默认从该分区最近一次已提交的 offset 处开始读取 —— 而由于全程未提交，它将依据 auto.offset.reset 行为：
- 若 auto.offset.reset=earliest → 从最早可用消息（如 offset=0）开始；
- 若 auto.offset.reset=latest（如你所配）→ 从当前最新写入的 offset 开始，跳过所有历史消息（包括 consumer-1 已拉取但未提交的那条）。
⚠️ 注意：这意味着在 auto.offset.reset=latest 下，consumer-1 拉取但未提交的消息，大概率永远不会被 consumer-2 再次消费 —— 它已被“跳过”，造成消息丢失风险，而非重投递。
✅ 正确实践：确保至少一次（at-least-once）语义
while (true) {
ConsumerRecords<string string> records = consumer.poll(Duration.ofSeconds(1));
try {
for (ConsumerRecord<string string> record : records) {
logger.info("Value: {}, Partition: {}, Offset: {}",
record.value(), record.partition(), record.offset());
// ✅ 处理业务逻辑（建议幂等设计）
process(record);
}
// ✅ 成功处理后同步提交位移（阻塞直到提交完成）
consumer.commitSync();
} catch (Exception e) {
logger.error("Processing failed", e);
// 可选：回滚或告警，但避免盲目 commit
// consumer.commitSync(); // ❌ 不应在异常路径提交
throw e; // 或根据策略重试/跳过
}
}</string></string>
? 关键总结
- Kafka 没有“未 ack 消息超时转发”机制；重投递仅发生在：① 进程重启（位移未提交 → 从上次提交点或 reset 策略处重读）；② 再平衡后新消费者从已提交位移处开始（未提交则依赖 auto.offset.reset）。
- auto.offset.reset=latest 在未提交场景下极易导致消息丢失，生产环境强烈建议设为 earliest，并配合可靠的位移提交逻辑。
- 实现可靠消费的核心是：处理完成 → 幂等校验 → 提交位移，三者缺一不可。
通过合理配置与严谨的提交时机控制，才能在 Kafka 中实现可控的、可预测的消息投递行为。
