Go语言实现文件批量处理_Golang实用工具项目-Golang-PHP中文网

应优先使用 filepath.WalkDir（Go 1.16+）替代 filepath.Walk，通过 fs.WalkDirFunc 处理 err 实现跳过权限错误、控制符号链接遍历，并避免在回调中执行耗时 I/O 操作。

go语言实现文件批量处理_golang实用工具项目

如何用 `filepath.Walk` 安全遍历目标目录下的所有文件

直接用 filepath.Walk 是最常见也最容易出错的方式。它默认会递归进入所有子目录，包括符号链接（如果系统允许），一旦遇到权限不足或损坏的 symlink，就会触发错误并中断整个遍历。

实操建议：

用 filepath.WalkDir 替代（Go 1.16+），它支持跳过子树、不 panic、可控制是否跟随 symlink
在 fs.WalkDirFunc 回调中检查 err：若为 fs.SkipDir，则跳过当前目录；若为 fs.ErrPermission，打印警告但继续
避免在回调里做耗时操作（如逐个读文件内容），先收集路径再批量处理，防止 I/O 阻塞遍历逻辑

err := filepath.WalkDir("/data/in", func(path string, d fs.DirEntry, err error) error {
    if err != nil {
        if errors.Is(err, fs.ErrPermission) {
            log.Printf("skip %s: permission denied", path)
            return nil
        }
        return err
    }
    if !d.IsDir() {
        files = append(files, path)
    }
    return nil
})

批量重命名时如何避免覆盖和并发冲突

用 os.Rename 批量改名看似简单，但两个典型风险：同名文件被覆盖（没加序号/哈希防重），多 goroutine 并发调 os.Rename 导致 invalid argument 或丢失文件。

实操建议：

重命名前先用 os.Stat 检查目标路径是否存在，存在则自动追加序号或时间戳
不要用 goroutine 池无限制并发 rename —— 文件系统调用本身不是纯 CPU 操作，高并发反而增加内核锁竞争
若必须并发，用带缓冲的 channel 控制并发数（如 sem := make(chan struct{}, 5)），每启动一个 rename 前 sem ，完成后