sarama比franz-go更适配日志生产，因其经多年压测验证，在批量发送、重试退避、连接复用上更稳健；franz-go默认异步写入和自动元数据刷新易导致unknowntopicorpartition错误。
为什么用 sarama 而不是 franz-go 做日志生产？
日志场景下，吞吐量和稳定性比 API 新颖度更重要。sarama 虽然 API 略显陈旧，但经过多年压测验证，在批量发送、重试退避、连接复用上更稳健；franz-go 默认启用异步写入和自动元数据刷新，对日志这种“写多读少、容忍短时延迟”的场景反而容易因后台 goroutine 泄漏或元数据过期导致 UnknownTopicOrPartition 错误。
实操建议：
- 用
sarama.AsyncProducer，但必须手动配置ChannelBufferSize（至少 1024），否则默认 256 容易在突发日志时丢消息 - 禁用
Return.Successes—— 日志不需逐条确认，关掉能减少 channel 切换开销 - 设置
Net.MaxOpenRequests=1，避免 Kafka broker 因并发请求过多触发NOT_COORDINATOR - 务必监听
Errors()channel 并打日志，常见错误如MessageSizeTooLarge往往是日志单条超 1MB 导致的，需前置切片
如何让日志结构体零拷贝写入 Kafka？
Go 默认序列化（如 json.Marshal）会分配新字节切片，高频日志下 GC 压力陡增。关键不是换序列化库，而是复用 []byte 缓冲区 + 避免结构体指针逃逸。
实操建议：
- 定义日志结构体时，字段全部用值类型（
int64、string），避免*string或嵌套 struct 指针 - 用
sync.Pool管理bytes.Buffer，每次写入前buf.Reset()，写完直接buf.Bytes()传给sarama.ProducerMessage.Value - 不要用
fmt.Sprintf拼接日志字符串 —— 它内部调用reflect，逃逸分析必堆分配；改用strconv.AppendInt等底层函数 - 如果日志含时间戳，直接存
int64（UnixNano），别存time.Time—— 后者包含指针，强制逃逸
ConsumerGroup 处理日志时为何卡在 Rebalance？
日志消费端常设多个实例做横向扩展，但 sarama.ConsumerGroup 默认心跳超时是 10 秒，而日志处理（尤其带解析/转发逻辑）可能超过该阈值，触发频繁 Rebalance，表现为消费停滞、offset 不提交、group coordinator not available 报错。
实操建议：
- 把耗时操作（如写 ES、发 HTTP）移出
ConsumeClaim的 for-loop，用独立 worker goroutine 处理msg，主循环只负责读取和分发 - 调大
Config.Group.Heartbeat.Interval至 15s，并同步调大Config.Group.Session.Timeout至 45s（Kafka 服务端group.min.session.timeout.ms需 ≤45s） - 关闭
Config.Consumer.Offsets.AutoCommit.Enable，改用手动CommitOffsets—— 自动提交在 Rebalance 期间不可靠，易丢 offset - 检查
Config.ChannelBufferSize，若设得太小（如 100），在高吞吐下Messages()channel 快满，阻塞 consumer loop，间接拖慢 heartbeat
Kafka Topic 分区数与日志写入吞吐的关系
分区数不是越多越好。日志系统常见误区是盲目设 100+ 分区，结果导致 producer 端连接数爆炸（每个分区一个 socket）、broker 磁盘 IO 分散、consumer group 协调变慢。
实操建议：
- 按写入峰值 QPS 估算：单分区稳定吞吐约 10–20 MB/s（SSD）或 5–10 MB/s（HDD），例如目标 100 MB/s 写入，则 8–12 分区足够
- 分区数必须是 2 的幂次（如 8、16、32），便于 consumer group 均衡分配，避免某实例多扛几个分区
- 不要为不同日志类型（access/error/trace）建不同 topic —— 合并在同一 topic，用
key区分（如"access"、"error"），节省 broker 连接和磁盘 seek 开销 - 务必开启
log.segment.bytes=1073741824（1GB）和log.retention.hours=72，避免小文件泛滥拖慢清理线程
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
