Golang实现消息队列处理_使用Sarama框架对接Kafka-Golang-PHP中文网

生产环境必须用异步生产者+正确配置：requiredacks设为waitforall、timeout≥10s、用byteencoder、topic通过newclusteradmin创建、version匹配服务端、避免复用adminclient；消费者优先选newconsumergroup。

golang实现消息队列处理_使用sarama框架对接kafka

同步生产者默认不保证消息落盘，生产环境必须用异步生产者 + 正确配置组合，否则“发送成功”只是假象。

常见错误现象：partition:0 offset:123 日志打印了，但集群重启后查不到；或 leader 切换后消费端跳过该 offset。

config.Producer.RequiredAcks 默认是 sarama.NoResponse：broker 收到请求就回包，不等写磁盘、也不等副本同步
必须设为 sarama.WaitForAll：强制等待所有 ISR 副本写入成功，这是生产环境底线
config.Producer.Timeout 至少设为 10 * time.Second：Kafka broker 默认 request.timeout.ms=30000，客户端超时若更短（如默认 3s），会提前报 context deadline exceeded，但 broker 可能仍在后台重试
别用 sarama.StringEncoder 传二进制数据：遇到 \x00 会截断，一律改用 sarama.ByteEncoder([]byte{...})

本地用 kafka-topics.sh 创建的 topic，在多节点集群中常出现分区不均、ISR 数不足、甚至 UNKNOWN_TOPIC_OR_PARTITION 错误。

Golang Naming

Go（Golang）命名规范 — 包括包、构造函数、结构体、接口、常量、枚举、错误、布尔值、接收器、getter/setter、函数等。

下载

NewClusterAdmin 能实时拉取元数据，创建时校验 ReplicationFactor 是否 ≤ 当前可用 broker 数（设 3 却只启 2 个 broker 会卡住）
自动处理权限/配额类错误，比如 TOPIC_AUTHORIZATION_FAILED，而命令行工具只报模糊异常
config.Version 必须匹配 Kafka 服务端版本，例如 Kafka 2.8+ 对应 sarama.V2_8_0_0；低版本 client 设高 version 会直接失败
别复用 AdminClient 实例做高频建 Topic 操作：长期运行需手动调 RefreshMetadata()，否则元数据过期导致创建失败

绝大多数生产场景该用 sarama.NewConsumerGroup，不是 sarama.NewConsumer。

NewConsumerGroup 支持自动分区再均衡、偏移量自动提交（可选）、多实例水平扩展；NewConsumer 是单消费者单分区硬绑定，连 offset 都要自己手写，只适合调试
config.Group.ID 绝不能为空字符串：空值会导致 consumer 拒绝加入 group，日志只报 group coordinator not available，极难排查
ConsumerGroupHandler.ConsumeClaim 中，claim.Messages() 返回阻塞 channel，必须用 for { select { case msg := 包裹，否则 <code>Close() 不生效
不要在 Messages() 外层加 range：它底层是无限 for-loop + channel recv，range 会卡死

SyncProducer 阻塞调用、吞吐低，只适合调试或极低频场景（比如每分钟几条告警）。

生产环境必须用 AsyncProducer：把消息扔进内部 channel 后立刻返回，后台批量发、重试、背压控制都由库自己做
AsyncProducer 必须监听 Successes 和 Errors channel 才能感知结果，漏监听等于“发了当没发”
config.ChannelBufferSize 建议设为 256 或 512：太小会阻塞业务 goroutine，太大则内存占用高
务必 defer producer.AsyncClose()：AsyncProducer 的关闭是异步的，Close() 不生效，必须用 AsyncClose() 并等待其完成