Golang 将大文件分割成固定大小的小块存储-Golang-PHP中文网

必须用os.open+io.copyn流式分块处理大文件，避免os.readfile一次性加载导致oom；io.copyn可精确控制每块字节数，自动处理最后一块不足的情况，且无需预知文件总大小。

golang 将大文件分割成固定大小的小块存储

用 `os.Open` 和 `io.CopyN` 分块读取大文件

直接 os.ReadFile 会把整个文件加载进内存，几 GB 的文件极易触发 OOM。必须流式处理：打开文件句柄后，每次只读固定字节数到缓冲区再写入新文件。

关键不是“分多少块”，而是“每块读多少字节”——推荐用 io.CopyN 而非手动 Read 循环，它能精确控制拷贝字节数，避免最后一块多读或少读：

src, _ := os.Open("big.log")
defer src.Close()
<p>buf := make([]byte, 10<em>1024</em>1024) // 10MB buffer
for i := 0; ; i++ {
dst, <em> := os.Create(fmt.Sprintf("chunk</em>%d.bin", i))
n, err := io.CopyN(dst, src, 10<em>1024</em>1024) // 精确拷贝 10MB
dst.Close()
if err == io.EOF || n 10241024 {
break // 最后一块不足 10MB，或已读完
}
}</p>

注意：io.CopyN 在源数据不足时返回 io.EOF，但不会报错；若你用 Read + Write 手动拼接，容易因 Read 返回 n 却误判为错误而中断。

分块写入时文件名和边界要严格对齐

分块后若需合并回原文件，必须保证每块大小（除最后一块）完全一致，且写入顺序不可乱。常见陷阱是用 os.WriteFile 替代 os.Create + Write，后者会覆盖已有文件，前者可能因并发写入导致文件内容错位。

建议统一用以下模式生成文件名和校验逻辑：

文件名带零填充序号：chunk_00001.bin，方便 ls 或 glob 按序读取
每块写入后调用 dst.Sync() 确保落盘（尤其在 NFS 或云存储挂载点上）
记录元信息到单独的 manifest.json，包含每块的 size、md5 和 offset，而不是仅靠文件名推算偏移

处理超大文件（>100GB）时避免 `os.Stat` 获取总大小

os.Stat 对某些文件系统（如 CIFS、FUSE）可能阻塞数秒甚至失败，且对管道/设备文件不适用。不要依赖 fi.Size() 计算总块数——它只是个 hint，实际应以读取结束为准。

Golang Naming

Go（Golang）命名规范 — 包括包、构造函数、结构体、接口、常量、枚举、错误、布尔值、接收器、getter/setter、函数等。

下载

如果业务确实需要预知块数（比如进度条），可用 syscall.Stat_t 尝试获取，但必须加超时和 fallback：

var stat syscall.Stat_t
if err := syscall.Stat("/path/to/file", &stat); err == nil {
    total := stat.Size
    chunkSize := int64(10 * 1024 * 1024)
    expectedChunks := (total + chunkSize - 1) / chunkSize
}

但注意：stat.Size 在 ext4 上可靠，在某些网络文件系统上可能返回 0 或负值，此时应降级为边读边计数。