filepath.walkdir 比 walk 更轻量,因默认用 os.direntry 避免重复 stat 调用;需按需调用 info()、正确处理权限错误、明确“大小”定义(字节和非磁盘占用),并发统计需谨慎。

用 filepath.WalkDir 遍历目录比 filepath.Walk 更轻量
Go 1.16+ 推荐用 filepath.WalkDir,它默认使用 os.DirEntry(不触发 Stat),避免对每个文件都做系统调用,性能明显更好。旧版 filepath.Walk 会为每个路径强制调用 os.Stat,遇到大量小文件时慢得明显。
- 只统计大小?用
DirEntry.Info()按需调用,跳过不需要的元数据 - 想跳过符号链接?在回调里检查
entry.Type() & os.ModeSymlink != 0后return filepath.SkipDir或忽略 - 注意:如果目录不可读(权限不足),
WalkDir会传入err != nil的回调,别直接 panic,应记录或跳过
统计过程中必须处理 syscall.EACCES 和 os.ErrPermission
Linux/macOS 下遍历 /proc、/sys 或某些 root-owned 目录时,常遇到权限错误;Windows 上也可能因 ACL 被拒。这些不是 bug,是正常系统行为。硬要中断会导致结果不准甚至 panic。
- 错误类型判断要用
errors.Is(err, os.ErrPermission)或errors.Is(err, syscall.EACCES),别用字符串匹配 - 遇到权限错误时返回
nil(继续遍历其他分支),而不是err(否则整个 Walk 提前退出) - 若需区分“跳过”和“失败”,可单独维护一个
skippedPaths切片,但别影响主统计逻辑
os.FileInfo.Size() 对目录返回 0,但磁盘占用 ≠ 文件大小之和
目录本身在文件系统中占 inode + 目录项空间,但 Size() 返回 0。你统计的“目录大小”通常指所有**文件内容字节总和**,不是磁盘实际占用(含块对齐、稀疏文件、硬链接等)。这点必须和用户预期对齐,否则会被当成 bug。
- 普通场景(如清理缓存)按
FileInfo.Size()累加即可,简单可靠 - 需要真实磁盘占用?得调用
du -sb外部命令(不跨平台)或解析statfs(复杂且 OS 差异大),一般没必要 - 注意硬链接:同一文件被多个路径引用时,
Size()会被重复累加——这是预期行为,除非你专门去 dedup inode
并发统计目录子树容易踩内存和竞态坑
有人想用 goroutine 加速,比如为每个子目录启一个 goroutine 统计再汇总。实际收益极小,反而引入新问题。
- IO 是瓶颈,不是 CPU;并发读同一磁盘反而可能降低吞吐
- 共享变量累加(如
total += size)必须用sync.AtomicInt64或mu.Lock(),裸写会丢数据 - goroutine 泄漏风险:没控制并发数,大目录下启成百上千 goroutine,OOM 前就卡死调度器
- 真要并发?限制 goroutine 数(如
sem := make(chan struct{}, 4)),且仅用于独立子路径(非嵌套)
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!











