新项目优先用 segmentio/kafka-go，它更轻量、API 更直观、原生支持 Context 取消，且对 TLS/SCRAM 认证封装更干净；sarama 功能全但接口复杂，易因配置遗漏导致连接卡住或消费滞后。
怎么选Kafka Go客户端：sarama 还是 kafka-go？
直接说结论：新项目优先用 segmentio/kafka-go，它更轻量、API 更直观、原生支持 Context 取消，且对 TLS/SCRAM 认证的封装更干净；sarama 功能全但接口复杂，容易因配置遗漏导致连接卡住或消费滞后，尤其在超时控制和重试逻辑上需要手动补全。
常见错误现象：sarama 初始化生产者后不调用 Close()，进程无法退出；消费者组没设 Config.Consumer.Group.Rebalance.GroupStrategies，本地调试时反复触发 Rebalance 却无日志提示。
-
kafka-go默认使用 `RoundRobin` 分区策略，无需额外配置 -
sarama的Config.Producer.RequiredAcks若设为0（fire-and-forget），网络抖动时消息会静默丢失，生产环境必须设为1或-1 -
kafka-go的WriteMessages()是批量同步写入，内部已做 buffer 合并，不用自己攒批
生产者怎么发消息才不丢、不阻塞？
关键不是“怎么发”，而是“怎么确认发成功”和“怎么应对失败”。kafka-go 的 WriteMessages() 返回 error 仅表示本次写入失败（比如 broker 不可达），但不保证消息已落盘——Kafka 本身只承诺“已写入 leader 副本”，要强一致性得靠 ack 配置和服务端 replica 设置。
实操建议：
- 设置
Writer.BatchTimeout = 100 * time.Millisecond，避免小消息积压太久；BatchSize保持默认100即可，盲目调大可能增加单次失败损失 - 务必检查返回 error：
if err != nil { log.Printf("write failed: %v", err) }，不要忽略 - 若需精确投递（如订单事件），开启
RequiredAcks: kafka.RequireAll并确保 topic 的replication.factor >= 3，否则 ack -1 会降级为 ack 1 - 不要在循环里反复 new
kafka.Writer，复用单例；它内部已管理连接池和重试
消费者怎么避免重复消费或漏消费？
根本矛盾在于：Kafka 自身不提供“恰好一次”语义，Go 客户端只能靠 offset 提交时机 + 业务幂等来兜底。用 kafka-go 时，ReadMessage() 返回的消息自带 Offset，但提交动作必须显式调用 CommitMessages()，且该调用是异步的——如果程序 crash 在读取消息后、提交前，重启就会重复消费。
正确姿势：
- 用
consumer.ReadMessage(context.WithTimeout(ctx, 5*time.Second))设定单条处理超时，防止某条消息卡死整个 partition - 业务逻辑处理完再提交：
err := consumer.CommitMessages(ctx, msg)，别在 goroutine 里提交（易丢错误） - 若业务处理耗时长，先用
msg.Offset + 1手动提交 offset（跳过当前），再异步处理，避免阻塞拉取 - 注意
kafka-go默认自动提交间隔是5s（Consumer.Group.Session.Timeout），太长会导致 rebalance 时重复消费增多
本地调试连不上 Kafka 怎么快速定位？
90% 的连接问题出在 advertised.listeners 配置或 DNS 解析上，而不是代码。Kafka broker 返回的元数据里包含 advertised.host，客户端会尝试直连这个地址——如果它是内网 IP 或容器名（如 kafka:9092），而你的 Go 程序跑在宿主机，必然失败。
快速验证步骤：
- 用
kafkacat -b localhost:9092 -L看能否列出 topic，不行就说明网络或 broker 配置有问题 - 检查 broker 的
server.properties：必须同时设listeners=PLAINTEXT://0.0.0.0:9092和advertised.listeners=PLAINTEXT://localhost:9092（开发机）或对应宿主机 IP -
kafka-go初始化时传的brokers地址，必须和advertised.listeners一致，不能写127.0.0.1混用 - 启用 debug 日志：
kafka.Logger = &kafka.StdLogger{Out: os.Stderr, Level: kafka.LevelDebug}，看实际 dial 的 host 是什么
真正难搞的是跨网络场景下的 SASL/SSL 配置细节，比如证书路径拼错、JAAS 配置文件权限不对、或者 SCRAM-SHA-512 服务端没开——这些错误通常只报 “EOF” 或 “I/O timeout”，得靠日志里的 handshake 步骤定位到哪一环断的。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
