直接用无缓冲channel做任务队列会卡死,因其要求发送与接收goroutine严格同步配对,SubmitTask调用在发送时即阻塞等待worker空闲,导致背压暴露给上游(如HTTP handler),引发业务线程挂起;正确做法是使用带缓冲channel(容量按峰值QPS×处理时长×冗余估算)并配固定数量worker协程池。

为什么直接用无缓冲 channel 做任务队列会卡死
因为无缓冲 chan *Task 会让 SubmitTask 调用在发送时阻塞,直到有 worker 空闲接收——这等于把背压逻辑暴露给调用方,上游一抖动,整个业务线程就挂住。真实场景里,HTTP handler、定时触发器、消息回调都不该被底层队列阻塞。
实操建议:
- 必须设带缓冲的
taskChan,容量按峰值 QPS × 平均处理耗时预估(例如 500 QPS × 200ms = 100),再乘以 1.5~2 倍冗余 - 缓冲区不是越大越好:超过系统内存承受力或 GC 压力阈值(如 >10MB)反而导致 STW 时间飙升
- 别依赖
len(taskChan)做动态扩缩容——它只是快照,且无法反映正在执行中的任务数
worker 数量设多少才不浪费也不打满
固定 workerNum 是可控并发的前提,但设错会直接拖垮吞吐。设太少,CPU 利用率低、任务堆积;设太多,goroutine 调度开销反超收益,runtime.mprof 里能看到大量 schedule 和 park 占比上升。
实操建议:
- 从
runtime.NumCPU() * 2开始压测(如 8 核机器先试 16),观察go tool pprof http://localhost:6060/debug/pprof/goroutine?debug=1中 goroutine 总数是否稳定在 2×workerNum 以内 - 若平均任务耗时
- 若任务含 I/O(如 DB 查询、HTTP 调用),worker 数可上浮至 ×3,但需同步检查连接池是否匹配(如
sql.DB.SetMaxOpenConns(workerNum))
execTask 里不加 context.WithTimeout 就等于放任协程泄漏
execTask 若直接调 task.Func() 且函数内部无超时控制,一个卡死的数据库查询或第三方 API 就会让该 worker 永久阻塞,后续任务全堵在 channel 里——这不是并发不足,是协程“阵亡”后无人回收。
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器,提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象,支持命名依赖等
实操建议:
- 必须在
execTask内部包裹ctx, cancel := context.WithTimeout(context.Background(), task.Timeout) - 把
cancel()放在defer里,确保无论成功失败都释放资源 - 若
task.Func本身支持 context(如db.QueryContext、http.Client.Do),务必传入该ctx;否则需改造成可中断逻辑(如定期检查ctx.Err() != nil)
Shutdown 阶段不等 worker 结束就会丢任务
很多实现直接 close(q.taskChan) 就返回,但此时仍有任务在 worker 手中执行,或刚入 channel 还没被取走。强行退出等于丢失数据。
实操建议:
- 在
Shutdown方法里先关闭taskChan,再调q.wg.Wait()—— 这才是等待所有正在执行的任务自然结束 - 为防个别任务超时卡死,可加兜底:
time.AfterFunc(30 * time.Second, func(){ q.wg.Wait() }),但不要用time.Sleep替代Wait() - 注意:不能在
worker函数里用select { case task := ,这会让空 channel 退出,破坏range的自然终止语义
真正卡吞吐的从来不是 Goroutine 数量,而是任务从提交到完成之间那几毫秒里,有没有被超时、泄漏、背压、调度延迟悄悄吃掉。这些点不抠清楚,百万级队列只会变成百万个待查的 goroutine 堆栈。
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!










