
Kafka 生产者 send() 的回调(Callback)仅在消息已提交至网络层并进入发送队列后才可能被调用;若因主题不存在等元数据问题导致消息根本无法入队(如 UNKNOWN_TOPIC_OR_PARTITION),回调将完全不执行,仅记录 WARN 日志。
kafka 生产者 `send()` 的回调(`callback`)仅在消息**已提交至网络层并进入发送队列后**才可能被调用;若因主题不存在等元数据问题导致消息根本无法入队(如 `unknown_topic_or_partition`),回调将完全不执行,仅记录 warn 日志。
在 Kafka 客户端中,producer.send(ProducerRecord, Callback) 是一个异步非阻塞操作:它立即将消息交由内部缓冲区和网络线程处理,并立即返回,不保证回调一定会被执行。关键在于:回调仅对“已入队但后续发送失败”的消息生效;而对“连入队都失败”的场景(如 Topic 不存在、Broker 不可达、元数据拉取失败),回调根本不会触发。
例如,当目标 Topic 被删除后,Producer 在尝试刷新元数据时收到 UNKNOWN_TOPIC_OR_PARTITION 响应,此时 Kafka 客户端会:
- 在
NetworkClient中记录 WARN 日志(如你看到的[kafka-producer-network-thread | producer-1] WARN ... UNKNOWN_TOPIC_OR_PARTITION); - 不会将该消息放入待发送队列;
- 因此,你注册的
Callback.onCompletion()永远不会被调用——因为消息甚至没有走到可回调的阶段。
✅ 正确做法:结合元数据预检 + 回调类型判断 + 重试/降级策略,而非依赖回调捕获所有错误:
// 1. 发送前主动检查 Topic 是否存在(推荐用于关键业务)
try {
final Collection<topicpartitioninfo> partitions =
producer.partitionsFor("your-topic-name");
if (partitions == null || partitions.isEmpty()) {
throw new IllegalStateException("Topic 'your-topic-name' does not exist or is unavailable");
}
} catch (Exception e) {
logger.error("Failed to validate topic metadata", e);
// 可选择退出、告警或创建 Topic(需 AdminClient)
System.exit(-1);
}
// 2. 发送时使用现代 Lambda Callback(更简洁安全)
producer.send(record, (metadata, exception) -> {
if (exception != null) {
// 注意:此处 exception 是发送链路中真实抛出的异常(如 TimeoutException、SerializationException)
// 但绝不会是 InvalidTopicException 或 UNKNOWN_TOPIC_OR_PARTITION 类错误
if (exception instanceof TimeoutException) {
logger.warn("Message send timeout for topic: {}", record.topic(), exception);
} else if (exception instanceof SerializationException) {
logger.error("Serialization failed", exception);
} else {
logger.error("Unexpected send failure", exception);
}
} else {
logger.info("Sent to {}-{}@{}",
metadata.topic(), metadata.partition(), metadata.offset());
}
});</topicpartitioninfo>
⚠️ 重要注意事项:
-
InvalidTopicException是客户端校验异常(如 Topic 名含非法字符、超长),仅在构造ProducerRecord或调用partitionsFor()时抛出,不会出现在send()回调中; -
UNKNOWN_TOPIC_OR_PARTITION是 Broker 返回的元数据级错误码,由 Kafka 客户端内部静默处理,仅打日志,不抛出也不回调; -
throw(e)在回调中毫无意义:它发生在 IO 线程(kafka-producer-network-thread),无法被外层try-catch捕获,且强行throw可能导致线程中断甚至 Producer 崩溃; - 应始终使用
instanceof判断异常类型,避免catch (Exception)吞掉关键错误; - 对于高可靠性场景,建议启用
retries > 0并配合retry.backoff.ms,让客户端自动重试元数据更新(默认会重试)。
? 总结:Kafka 的 send() 回调不是“万能错误捕手”,而是“已入队消息的命运通知器”。要构建健壮的消息发送逻辑,必须分层防御——发送前做元数据探活、发送中合理配置重试与超时、发送后在回调中精准识别可恢复/不可恢复异常,并辅以监控告警。










