librdkafka是Kafka官方事实标准C/C++客户端，不可替代；必须配置多个bootstrap.servers地址以保障集群发现与故障转移；关键参数需协同调优，且消息投递结果仅能通过delivery.report.callback确认。
librdkafka是当前 C++ 生产环境中连接 Kafka 集群、实现高吞吐消息生产的唯一可行选择。其他方案（如手写协议、封装 JVM）在稳定性、性能或运维成本上均不成立。
为什么必须用 librdkafka 而不是自己封装
它不是“一个可选库”，而是 Kafka 官方事实标准的 C/C++ 客户端，底层直接复用 Kafka 协议栈，无中间层拷贝。实测单生产者实例在万兆网卡下可达 120 万 msg/s（1KB/条），而 Java 客户端此时 GC 停顿已超 80ms。自己封装会掉进三个坑：
• Kafka 协议版本频繁变更（KIP-848 等），每升级一次服务端都要重适配
• SASL/SSL 认证握手逻辑极其复杂，librdkafka 已内置完整状态机
• 批处理队列、IO 线程调度、心跳保活等模块一旦写错，就会出现 silent message loss（无报错但消息静默丢失）
bootstrap.servers 必须配多个地址，且不能只写一个
看似只是初始连接参数，实际影响整个集群发现机制和故障转移能力。只配 localhost:9092 或单个 broker 地址会导致：
• 集群扩容后新 broker 不被自动感知
• 某个 broker 宕机时，客户端无法快速切换到存活节点，rd_kafka_produce() 可能阻塞数秒甚至超时失败
• 元数据刷新失败时无 fallback 路径，触发 RD_KAFKA_RESP_ERR__TRANSPORT 错误
正确做法是至少填 3 个不同 broker 的地址，例如：m_config->set("bootstrap.servers", "kafka1:9092,kafka2:9092,kafka3:9092", errorStr);
注意：这些地址必须是 broker 实际监听的 advertised.listeners，不是 localhost 或内网 DNS 别名（否则消费者连不上）
关键吞吐参数必须协同调优，不能只改 batch.size
单改 batch.size=65536 并不能提升吞吐——它只是“上限”，真正决定是否发包的是 linger.ms 和网络缓冲区水位。常见错误配置：
• linger.ms=0 + batch.size=64KB → 实际仍是逐条发送，因为没等待时间，批次永远凑不满
• buffer.memory=32MB 过小 → 高 QPS 下缓冲区满，rd_kafka_produce() 返回 RD_KAFKA_RESP_ERR__QUEUE_FULL，应用需自行退避，反而打乱节奏
• queue.buffering.max.ms=5000 设太高 → 消息在内存中滞留过久，延迟毛刺明显
推荐组合（日志类场景）：batch.size=65536（64KB）linger.ms=50（给足攒批时间）buffer.memory=67108864（64MB）queue.buffering.max.ms=1000（强制兜底，防积压）
投递成功与否，只看 delivery.report.callback，不是 produce() 返回值
rd_kafka_produce() 成功仅表示消息进入 librdkafka 内部队列，不代表已发到 broker。若 broker 拒绝（如 topic 不存在、磁盘满、ISR 不足），错误只会通过回调上报。忽略该回调等于默认所有消息都成功。
必须设置并处理回调：m_config->set("dr_cb", "1", errorStr); // 启用 delivery callback
然后继承 RdKafka::DeliveryReportCb 实现 dr_cb() 方法，检查 msg->err() 是否为 RD_KAFKA_RESP_ERR_NO_ERROR。常见非零错误：
• RD_KAFKA_RESP_ERR__MSG_TIMED_OUT：消息在队列中超时未发出（说明 queue.buffering.max.ms 太小或网络持续阻塞）
• RD_KAFKA_RESP_ERR__UNKNOWN_TOPIC：topic 不存在且 auto.create.topics.enable=false
• RD_KAFKA_RESP_ERR__NOT_ENOUGH_REPLICAS：acks=all 时 ISR 数不足
这个回调是唯一能做精确失败重试、指标打点、链路追踪埋点的地方。漏掉它，监控大盘里就只剩“发送量”，没有“成功量”。
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
