go中控制http并发数的核心是用chan struct{}实现信号量:make(chan struct{}, n)创建容量为n的通道作为许可证池,goroutine需先向其写入再发请求,零内存开销且语义清晰。

Go 里控制 HTTP 请求并发数,核心就一条:别让 http.Do() 同时跑太多。不是靠起多少 goroutine,而是靠在真正发请求前卡住它。
用 chan struct{} 做信号量是最轻量、最可控的方式
标准库没提供信号量,但 make(chan struct{}, N) 就是现成的许可证池——容量 N 就是最大并发数,struct{} 零内存开销,语义也干净。
- 初始化写成
sem := make(chan struct{}, 10),别用chan int或chan bool,纯属浪费 - 每个 goroutine 在调用
client.Do()前必须先写sem (会阻塞直到有空位) - 释放必须写成
defer func() { ,不能裸写 <code>,否则 panic 或提前 return 会导致许可永远不归还、后续 goroutine 全卡死 - 别用
len(sem)判断是否还能进——它返回的是已占用数;可用数是cap(sem) - len(sem)
限流位置错了等于没限:必须卡在 client.Do() 前一刻
常见错误是把 sem 放在 for 循环里、或 goroutine 启动前——那只是压慢了 goroutine 创建速度,实际 <code>http.Do() 还是可能瞬间涌出上百个连接。
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器,提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象,支持命名依赖等
- 正确位置:goroutine 内部、
http.NewRequest()之后、client.Do()之前 - 错误示范:
for _, u := range urls { sem —— 这里限的是“启动”,不是“执行” - 即使请求失败、超时、panic,只要进了 goroutine 就得归还许可,
defer正好覆盖所有路径
HTTP 客户端配置不调,限流效果大打折扣
光控 goroutine 数量不够,http.Client 自身的连接池默认太保守,高并发下会卡在建连或复用环节。
-
MaxIdleConnsPerHost默认是 2,必须显式设为 100+,否则并发 10 个请求都可能排队等复用连接 -
Timeout必须设,否则单个 DNS 失败或服务无响应会让 goroutine 永久挂起,sem许可也被锁死 - 别每个请求 new 一个
*http.Client——连接池、DNS 缓存全失效,等于放弃复用 - 记得调
resp.Body.Close(),否则底层 TCP 连接不释放,很快触发too many open files
要不要加 rate.Limiter?看场景,不是越多越好
如果目标 API 有 QPS 限制(比如每秒最多 10 次),单靠并发数控制不够——10 个并发请求可能在 100ms 内全发出去,直接被限流拒绝。
-
rate.NewLimiter(10, 5)可以保证每秒最多 10 个请求,突发允许 5 个 - 用法是每个请求前调
limiter.Wait(ctx),它会自动 sleep 等令牌,比自己 sleep 更准 - 和
chan struct{}不冲突:前者控“速率”,后者控“同时进行数”,生产环境常一起用 - 注意
Wait可能返回 error(如 ctx 被 cancel),得检查,不能忽略
真正容易被忽略的点是:许可释放必须和请求生命周期严格绑定,且只在 Do() 前后发生;其他地方加锁、改 GOMAXPROCS、调 MaxIdleConns 都只是辅助,不是并发控制本身。
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!










