直接用http.defaultclient会卡死，因其未设超时和连接池上限，批量抓取数百个provider-{date}.json时goroutine堆积在dns解析或tls握手阶段；且其transport全局共享，易被其他模块意外修改，必须显式构造新client并配置timeout和maxidleconnsperhost。
为什么直接用 http.DefaultClient 会卡死
因为默认客户端没设超时和连接池上限，批量抓取几百个 provider-{date}.json 时，goroutine 会堆积在 DNS 解析或 TLS 握手阶段，不是业务逻辑慢，是底层网络层被拖垮。更糟的是，http.DefaultClient 的 Transport 是全局共享的，其他模块可能悄悄改了它，导致行为不可控。
- 必须显式构造新
http.Client，设Timeout: 10 * time.Second、MaxIdleConnsPerHost: 50 - 禁用
http.DefaultClient，哪怕只并发 20 个请求也不行 - 对
404要区分：vendor 不存在（合法） vs. 镜像路径拼错/证书过期（需告警）
如何安全提取 provider URL 并替换占位符
顶层 packages.json 里 providers 字段是 map，key 是 vendor 名，value 是含 sha256 和 url 的结构体。但 url 常带 {hash} 占位符，不替换就 404。
- Go struct tag 必须写成
json:"sha256"和json:"url"，小写 key 不匹配就全为空 - 用
strings.ReplaceAll(providerUrl, "{hash}", sha256)替换，别用正则——简单场景够用且无开销 - URL 必须以
https://开头、结尾带/，否则拼出的路径如https://mirrors.aliyun.com/composer/packs/provider-2022-07.json会 404
并发量上去后 DNS 和 TLS 成瓶颈怎么办
并发超 100 时，net/http.(*Transport).RoundTrip 卡住，90% 是 DNS 查询未缓存 + TLS session 复用失效，不是代码写得差。
围绕关键发现、作用机制、临床相关性及研究局限性展开讨论。适用于撰写或优化任何生物医学论文的“讨论（Discussion）”部分——包括结果解读、与既往文献关联、阐释意外发现、界定研究局限性，以及撰写结论。当用户输入以下任一指令时也会自动触发该功能： - “write my discussion” - “help me discuss my findings” - “how do I compare to prior studies” - “write the limitations par
- 启用
transport.DialContext+net.Resolver自定义 DNS 缓存（用github.com/miekg/dns或内置net.DefaultResolver加 TTL 缓存） -
Transport.TLSClientConfig设SessionTicketsDisabled: false（默认已开，但确认别被覆盖） - 加
Transport.IdleConnTimeout: 30 * time.Second，避免空闲连接堆积耗尽 fd
日志和错误处理容易漏掉的关键点
结构化日志不是锦上添花，是定位失败源头的唯一依据。尤其当几百个 provider 并发抓取时，混在一起的 panic 或 timeout 很难回溯。
- 每个 goroutine 抓取前打一条
log.With("url", url).Info("fetching provider")，失败时带err和status code - 别用
fmt.Printf，它不带时间戳、不支持字段过滤，CI 日志里根本没法 grep - SHA256 校验失败要单独分类，可能是镜像生成 bug，不是网络问题，不能和 404 归为一类
实际跑起来你会发现，并发数设到 80–120 最稳；再往上，DNS 缓存和 TLS 复用收益递减，而内存和 fd 压力陡增。真正卡点往往不在 Go 代码，而在镜像源本身对单 IP 的 QPS 限制——这个得靠错峰或 IP 轮换，不是调参能解决的。
