如何快速实现一个支持断点续传的Go语言大文件分片上传模块-Golang-PHP中文网

直接用http.post上传大文件会失败，因客户端将整个文件读入内存导致oom，服务端易超时或拒绝；网络中断后无法续传，必须采用客户端分片、服务端拼接与校验位记录方案。

如何快速实现一个支持断点续传的go语言大文件分片上传模块

为什么直接用 `http.Post` 上传大文件会失败

因为默认 HTTP 客户端没有分片逻辑，整个文件读入内存或一次性发包，超时、OOM、网络中断后全部重传。断点续传的核心不是“传得快”，而是“传得稳”——得知道哪一片传过了、哪一片卡住了、校验是否一致。

别用 os.ReadFile 加载整个文件到内存，1GB 文件直接触发 GC 压力甚至 panic
http.DefaultClient 的 Timeout 默认是 30 秒，上传 2GB 文件必然超时，且超时后无法恢复已传部分
服务端没做分片接收和合并，客户端再怎么分也没用；必须前后端约定同一套分片标识（如 filename + chunkIndex + totalChunks）

用 `io.Pipe` + `multipart.Writer` 构建流式分片上传

关键不是“把文件切开存成多个临时文件”，而是边读边传、不落地、不缓存整块。Pipe 让读取和上传并发进行，避免内存堆积。

每个分片用独立的 http.Request，Content-Type 设为 multipart/form-data，用 multipart.Writer 写入 file 字段和元数据字段（chunkIndex、totalChunks、md5 等）
打开文件用 os.Open，然后 io.Seek 定位到分片起始偏移，用 io.CopyN 或 io.LimitReader 控制本次读取长度
务必设置 req.Header.Set("X-Chunk-Index", strconv.Itoa(i)) 和 req.Header.Set("X-Total-Chunks", strconv.Itoa(total))，方便服务端做幂等判断

// 示例：构造单个分片请求
f, _ := os.Open("big.zip")
defer f.Close()
f.Seek(int64(i)*chunkSize, 0)
pr, pw := io.Pipe()
mw := multipart.NewWriter(pw)
<p>go func() {
defer pw.Close()
fw, _ := mw.CreateFormFile("file", "big.zip")
io.CopyN(fw, f, chunkSize)
mw.WriteField("chunkIndex", strconv.Itoa(i))
mw.WriteField("totalChunks", strconv.Itoa(total))
}()</p><p>req, _ := http.NewRequest("POST", "<a href="https://www.php.cn/link/f142c6067e6345134c6728f299cf4c1e">https://www.php.cn/link/f142c6067e6345134c6728f299cf4c1e</a>", pr)
req.Header.Set("Content-Type", mw.FormDataContentType())
</p>