如何在Go语言中实现分块写入大数据-Golang-PHP中文网

直接将大文件全量读入内存再write会导致oom，正确做法是流式分块处理：用io.copy或手动read/write循环，buffer控制在32kb–1mb，复用同一byte切片，注意错误处理与sync策略。

如何在go语言中实现分块写入大数据

为什么直接 `Write` 大文件会 OOM 或卡死

Go 的 os.File.Write 默认不缓冲，但更关键的是：如果你一次性把几 GB 数据读进 []byte 再传给 Write，内存直接爆掉。不是 IO 慢，是程序先被系统 kill —— 这是新手最常踩的坑。

真正要解决的不是“怎么写”，而是“怎么避免全量加载”。分块本质是流式处理：边读边写，内存只留一个 chunk。

典型错误：data, _ := os.ReadFile("huge.bin") → 立刻吃光 4GB 内存
正确姿势：用 io.Copy 或手动 Read/Write 循环，chunk 大小控制在 32KB–1MB（太小增加 syscall 开销，太大占内存）
注意 bufio.Writer 对写入端有帮助，但对读取端无效；它不能替代分块逻辑，只是减少 write 系统调用次数

用 `io.Copy` + `io.LimitReader` 控制单次写入量

io.Copy 本身是流式复制，但默认不限长度。如果源是无限流或你只想写前 N 字节，得套一层 io.LimitReader。

Go语言（Golang）1.26.0

Go语言（Golang）1.26.0版本官方下载，版本号 1.26.0，适合旧项目维护、兼容性测试和指定版本开发环境搭建。

下载

比如导出数据库 dump 的前 100MB：

src, _ := os.Open("dump.sql")
dst, _ := os.Create("partial.sql")
defer dst.Close()

limited := io.LimitReader(src, 100*1024*1024)
_, err := io.Copy(dst, limited) // 自动按 32KB 分块

io.Copy 内部使用 32KB buffer，无需手动管理 chunk slice
若需自定义 chunk 大小（例如适配存储服务的分片要求），就不用 io.Copy，改用手动循环
注意 LimitReader 到达 limit 后返回 io.EOF，不是错误，别误判为读取失败

手动分块写入：控制 buffer 大小和错误处理

当你要精确控制每次写多少、或需要写入前做转换（如加密、压缩），就得手动分块。核心是复用同一块 []byte buffer，避免反复分配。

buf := make([]byte, 64*1024) // 复用 buffer
for {
    n, err := src.Read(buf)
    if n > 0 {
        if _, werr := dst.Write(buf[:n]); werr != nil {
            return werr // 不要忽略写入错误！磁盘满、权限问题都会在这里暴露
        }
    }
    if err == io.EOF {
        break
    }
    if err != nil {
        return err
    }
}