生产环境高并发稳定性取决于worker启停同步、缓冲水位控制、错误隔离和资源复用四点:需用sync.WaitGroup精确等待任务完成;设合理缓冲容量并监控水位告警;消息结构带Source字段实现路由与策略差异化;Redis Streams必须先XGROUP CREATE再XREADGROUP,并显式XACK;每条任务须用独立context避免全局cancel误杀。

直接用 chan 做任务队列能跑通,但生产环境里真正卡住高并发稳定性的,从来不是 channel 本身,而是 worker 启停同步、缓冲水位失控、错误没隔离、资源没复用这四件事。
worker 不等处理完就退出?必须用 sync.WaitGroup 精确等待
现象:for task := range jobsCh 确实会在 close(jobsCh) 后退出循环,但不等正在执行的 task.Process() 结束——比如里面有个 time.Sleep(3 * time.Second),主 goroutine 已 exit,整个进程被杀,任务静默丢失。
必须做:
- 每个 worker 启动前调
wg.Add(1),结尾defer wg.Done() - 主流程在
close(jobsCh)后,严格调wg.Wait()再返回 -
wg别传值(会复制),用闭包捕获或传指针 - 别在 worker 里 recover panic 后直接 return —— 要转发到死信 channel 或打日志,否则错误消失无踪
缓冲 channel 容量设成 10000 就安全?水位告警比扩容更重要
常见误判:监控发现 len(jobsCh) == cap(jobsCh)-1,第一反应是“队列太小”,把 make(chan Task, 100) 改成 10000。实际可能只是单条任务卡在 DB 写入或 HTTP 调用上,扩 buffer 只是掩盖瓶颈。
建议:
- 初始设
100,上线后加日志:当len(jobsCh) > 0.8*cap(jobsCh)时触发告警 - 每条任务处理前打
start: time.Now(),结束后算耗时,看 P99 是否 > 500ms - 若延迟高,优先查单条逻辑(DB query、HTTP timeout、没用 context)、而不是加 buffer 或 worker 数
- 缓冲区不是越大越好——
make(chan Task, 10000)会多占 10MB+ 内存(假设 Task 平均 1KB),GC 压力陡增
多个消息源混进一个 channel?必须带 Source 字段路由
当你同时消费 Kafka topic A、Redis Stream B、HTTP webhook C,如果都 unmarshal 成同一个 struct{Data string},再靠外部变量判断来源,很快会陷入嵌套 if-else 和状态错乱。
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器,提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象,支持命名依赖等
正确做法:
- 定义统一消息结构:
type Message struct { Source string; Payload []byte; Timestamp time.Time } - 各消费者在 send 前填
msg.Source = "kafka-topic-a"(字符串从配置读,方便灰度) - worker 里用
switch msg.Source分支处理,逻辑清晰、易测、可插拔 - 别让不同来源的消息共享同一套重试/超时策略——
Source是后续做差异化控制的锚点
用 Redis Streams 做队列?XGROUP CREATE 必须先于 XREADGROUP
很多团队用 go-redis/v9 接 Redis Streams,一跑就报 NOGROUP No such key 'xxx' or consumer group 'xxx'。根本原因是没创建 consumer group 就直接读。
关键顺序不能错:
- 启动时先执行
XGROUP CREATE stream-name group-name $ MKSTREAM($表示从最新开始) - worker 才能调
XREADGROUP GROUP group-name consumer-name COUNT 10 STREAMS stream-name > - 每条消息处理完,必须显式调
XACK stream-name group-name msg-id,否则它永远留在 pending list 里 - 别用
BLPOP + 单独 ACK模拟——网络中断、进程崩溃时,ACK 丢了一环,任务就永久丢失
最常被忽略的一点:单条任务的 context 必须独立生成,不能用全局 ctx 控制所有 worker。全局 cancel 一触发,所有正在跑的任务全被中断,哪怕只剩 100ms 就写完 DB。每个 Message 进来,都要 ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second),用完立刻 cancel()。这个细节,线上炸过三次以上。
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!










