如何在 Go 中通过 HTTP POST 流式上传大文件（避免内存加载）-Golang-PHP中文网

如何在 Go 中通过 HTTP POST 流式上传大文件（避免内存加载）

本文介绍如何使用 io.Pipe 和 goroutine 实现从 os.Stdin 到 HTTP POST 请求的流式 multipart 文件上传，完全规避将整个文件读入内存的问题，适用于 GB 级大文件上传场景。

本文介绍如何使用 io.pipe 和 goroutine 实现从 os.stdin 到 http post 请求的流式 multipart 文件上传，完全规避将整个文件读入内存的问题，适用于 gb 级大文件上传场景。

在 Go 中，使用 multipart.Writer 构建表单数据时，若直接将 bytes.Buffer 作为请求体，io.Copy(part, os.Stdin) 会将全部输入内容写入内存缓冲区，导致上传超大文件（如数 GB）时触发 OOM 风险。根本解法是解除“读取”与“发送”的同步耦合，改用流式管道（streaming pipeline）——即让 HTTP 客户端边读边发，服务端边收边处理。

核心思路是：
✅ 使用 io.Pipe() 创建一对关联的 io.Reader（供 http.Request 读取）和 io.Writer（供 multipart.Writer 写入）；
✅ 在独立 goroutine 中执行 io.Copy，将 os.Stdin 数据持续写入 multipart.Writer，再由其写入 pipe 的 Writer 端；
✅ 主协程立即构造 http.Request，以 pipe 的 Reader 为请求体，无需等待写入完成；
✅ HTTP 客户端底层 net/http 会在需要时从 Reader 拉取数据，实现真正的零拷贝流式传输（实际为一次内存拷贝，但无全量缓存）。

以下是优化后的完整实现：

func newFileUploadRequest(uri string) (*http.Request, error) {
    r, w := io.Pipe()
    writer := multipart.NewWriter(w)

    // 启动 goroutine 异步写入 multipart 数据
    go func() {
        defer w.Close() // 确保 pipe 正常关闭（即使出错也应关闭）

        part, err := writer.CreateFormFile("file", "file")
        if err != nil {
            w.CloseWithError(err)
            return
        }

        // 将标准输入流式写入表单字段
        _, err = io.Copy(part, os.Stdin)
        if err != nil {
            w.CloseWithError(err)
            return
        }

        // 关闭 multipart writer，生成边界结束符
        err = writer.Close()
        if err != nil {
            w.CloseWithError(err)
            return
        }
    }()

    req, err := http.NewRequest("POST", uri, r)
    if err != nil {
        return nil, err
    }
    req.Header.Set("Content-Type", writer.FormDataContentType())
    return req, nil
}

func main() {
    req, err := newFileUploadRequest("http://localhost:8080/upload")
    if err != nil {
        log.Fatal("构建请求失败:", err)
    }

    client := &http.Client{}
    resp, err := client.Do(req)
    if err != nil {
        log.Fatal("请求发送失败:", err)
    }
    defer resp.Body.Close()

    body, err := io.ReadAll(resp.Body)
    if err != nil {
        log.Fatal("读取响应失败:", err)
    }
    fmt.Println(string(body))
}

⚠️ 关键注意事项：

io.Pipe() 返回的 *io.PipeReader 不支持 Seek()，因此该方案不适用于需要重试、重定向或多次读取请求体的场景（如某些中间件自动重试逻辑）；
w.CloseWithError(err) 是错误传播的关键：它会中断 r.Read() 并返回对应错误，确保客户端能及时感知写入失败；
defer w.Close() 应置于 goroutine 开头，保证无论成功或失败均释放资源；
服务端需具备流式解析 multipart 的能力（如使用 r.MultipartReader() 或 form.ParseMultipart()），避免调用 ParseForm()（会尝试读取全部 body 到内存）；
若需上传多个字段，可在 goroutine 中先写入其他 writer.WriteField(...)，再写入文件流，顺序须与 FormDataContentType() 生成的 boundary 一致。