本文介绍使用 io.Pipe 和 goroutine 实现标准输入（如大文件）的流式 multipart POST 上传，避免将整个文件一次性加载到内存，适用于 GB 级文件传输场景。
本文介绍使用 `io.pipe` 和 goroutine 实现标准输入（如大文件）的流式 multipart post 上传，避免将整个文件一次性加载到内存，适用于 gb 级文件传输场景。
在 Go 中通过 HTTP 上传大文件时，若直接使用 bytes.Buffer 缓存全部内容（如 io.Copy(part, os.Stdin) 到内存缓冲区），会导致内存占用随文件体积线性增长——上传一个 5GB 文件就可能消耗 5GB 内存，极易触发 OOM。根本解法是流式处理（streaming）：让请求体（io.Reader）与数据生产（os.Stdin）并行、按需读取，而非预加载。
核心思路是用 io.Pipe() 创建一对关联的 io.Reader 和 io.Writer，将 multipart.Writer 绑定到 pipe 的写端，并在独立 goroutine 中执行写入逻辑；HTTP 请求则直接使用 pipe 的读端作为请求体。这样，HTTP 客户端在发送请求时，会按需从 pipe 读取数据，而 goroutine 同步将 os.Stdin 数据写入 pipe —— 整个过程无中间内存缓冲，仅维持少量内核级 pipe 缓冲区（通常 64KB），内存占用恒定。
以下是优化后的完整实现：
func newFileUploadRequest(uri string) (*http.Request, error) {
r, w := io.Pipe()
writer := multipart.NewWriter(w)
// 在 goroutine 中异步写入 multipart 数据
go func() {
defer w.Close() // 确保 pipe 正常关闭
part, err := writer.CreateFormFile("file", "stdin")
if err != nil {
w.CloseWithError(err)
return
}
// 直接流式拷贝 stdin 到 multipart part
_, err = io.Copy(part, os.Stdin)
if err != nil {
w.CloseWithError(err)
return
}
// 关闭 multipart writer，写入 boundary 和尾部
err = writer.Close()
if err != nil {
w.CloseWithError(err)
return
}
}()
req, err := http.NewRequest("POST", uri, r)
if err != nil {
return nil, err
}
req.Header.Set("Content-Type", writer.FormDataContentType())
return req, nil
}
⚠️ 关键注意事项：
-
io.Pipe()返回的*io.PipeReader是阻塞式读取器：若写端未写入或已关闭，读操作会阻塞或返回 EOF；因此必须确保 goroutine 启动后才发起 HTTP 请求。 - 必须调用
w.Close()或w.CloseWithError()结束写入，否则r将永远阻塞在读取末尾，导致请求挂起。 -
multipart.Writer的FormDataContentType()方法在writer.Close()后才可安全调用（因 boundary 在关闭时最终确定）；但本例中我们提前获取了 content-type 字符串，实际是安全的（FormDataContentType不依赖内部状态，仅返回固定格式字符串）。更严谨的做法是在 goroutine 中writer.Close()后通过 channel 通知主协程，但对简单 CLI 工具而言，当前写法已足够健壮。 - 若
os.Stdin来自终端（非重定向文件），请确保用户输入符合预期；生产环境建议增加超时控制（如http.Client.Timeout或context.WithTimeout）。
最后，在 main() 中使用该函数即可实现零内存膨胀的大文件上传：
func main() {
req, err := newFileUploadRequest("http://localhost:8080/upload")
if err != nil {
log.Fatal("构建请求失败:", err)
}
client := &http.Client{Timeout: 30 * time.Minute} // 大文件需延长超时
resp, err := client.Do(req)
if err != nil {
log.Fatal("请求失败:", err)
}
defer resp.Body.Close()
body, err := io.ReadAll(resp.Body)
if err != nil {
log.Fatal("读取响应失败:", err)
}
fmt.Println("服务器响应:", string(body))
}
此方案将上传过程彻底解耦为「生产者（stdin → pipe）」与「消费者（pipe → HTTP 连接）」，是 Go 标准库支持流式 I/O 的典型范式，也是处理任意大小输入的标准实践。
