Golang实现文件分块下载的并发任务调度-Golang-PHP中文网

直接复用同一http.client并发range请求会因连接复用导致206/200混杂或超时，应为每分块创建独立client或禁用连接复用，配合context超时、io.readfull+writeat精准写入，并行写入需预分配文件大小且避免o_trunc。

golang实现文件分块下载的并发任务调度

为什么直接用 `http.Client` 并发请求分块会失败

常见错误是为每个分块起一个 goroutine，直接复用同一个 *http.Client 实例并设置 Range 请求头，结果部分请求返回 206 Partial Content，另一些却返回 200 OK 或直接超时。根本原因是：HTTP/1.1 默认复用连接，而服务端对 Range 请求的响应行为依赖于底层 TCP 连接状态和服务器实现（比如 Nginx 有 limit_rate 或连接复用策略），并发下多个 Range 请求挤在同一个连接上，容易触发协议错乱或被限流。

解决办法很明确：每个分块请求必须使用独立的、带显式超时的 *http.Client，或者至少禁用连接复用：

设置 Transport 的 MaxIdleConnsPerHost = 1，避免多个请求抢同一连接
给每个请求单独设置 Context 超时，防止某个分块卡死拖垮整个任务
不要复用 Request 对象——每次都要用 http.NewRequestWithContext() 新建

`io.CopyN` 和 `io.ReadFull` 在写入分块时怎么选

分块下载后需把数据精准写入文件指定偏移位置。这里不能用 io.Copy，它不保证字节数；也不能只靠 os.WriteAt，因为网络读取可能提前 EOF。

推荐组合：io.ReadFull + os.WriteAt：

io.ReadFull 严格读取指定字节数，返回 io.ErrUnexpectedEOF 表示服务端数据不足（此时应重试或报错）
拿到完整字节后，用 file.WriteAt(data, offset) 写入，注意 offset 是该分块在文件中的起始位置，不是从 0 开始
避免用 io.CopyN：它内部用 io.Read，无法确保读满，且返回实际读取数难与期望对齐

如何安全地合并多个 goroutine 写入的文件片段

多个 goroutine 并发调用 file.WriteAt 是线程安全的，但有两个关键前提：

Golang Naming

Go（Golang）命名规范 — 包括包、构造函数、结构体、接口、常量、枚举、错误、布尔值、接收器、getter/setter、函数等。

下载

文件必须以 os.O_CREATE | os.O_RDWR 打开，且**不能加 os.O_TRUNC**——否则可能清空其他 goroutine 已写入的内容
写入前确保文件已预分配大小：file.Truncate(totalSize)，否则某些文件系统（如 ext4）在稀疏写入时性能极差，甚至触发磁盘碎片
不需要额外加锁，但建议用 sync.WaitGroup 等待所有写入完成，再关闭文件句柄

如果跳过 Truncate，首次 WriteAt 会扩展文件，但后续写入可能因文件系统延迟导致 WriteAt 返回 ENOSPC 或阻塞。