必须用filepath.walkdir而非filepath.walk，因其默认使用fs.direntry避免冗余os.stat调用，性能高2–5倍，且支持filepath.skipdir精准跳过子目录、显式处理权限错误；而walk强制逐项stat，易因permission denied中断遍历并大幅拖慢速度。
用 filepath.WalkDir 配合提前过滤和轻量判断，是 Go 处理数百万文件目录下快速查询的可靠路径；盲目上并发或全量加载元数据只会拖慢甚至崩溃。
为什么不用 filepath.Walk 而必须用 filepath.WalkDir
Go 1.16+ 的 filepath.WalkDir 默认不为每个条目调用 os.Stat，而是直接暴露 fs.DirEntry——它只含名称、是否为目录、是否为符号链接等轻量信息，无系统调用开销。而旧版 filepath.Walk 每次回调都触发一次 stat，在百万级目录下会多出百万次系统调用，性能差 2–5 倍，且容易因权限拒绝中断遍历。
常见错误现象：
-
permission denied错误频繁出现，filepath.Walk直接 panic 或吞错继续跑，结果漏掉大量子目录 - 遍历耗时从秒级升到分钟级，
top显示大量sys时间占比高
正确做法：
- 用
entry.IsDir()判断目录，不是entry.Type().IsDir()（后者在某些文件系统如 overlayfs 下不可靠） - 跳过
node_modules、.git等目录时，用strings.EqualFold(entry.Name(), "node_modules")，兼容大小写 - 遇到错误（如权限不足）直接
return err中止，别log.Printf后 return nil——否则 WalkDir 会继续往下走，可能反复报错
只读一级目录？用 os.ReadDir 更快
如果你的目标只是扫描日志归档根目录下几百万个 2024-06-11.log 文件（不递归），os.ReadDir 是更优选择：它单层读取、不递归、不 stat、返回 []fs.DirEntry，比 filepath.WalkDir 少掉路径拼接与递归控制逻辑，实测快 60%+。
注意点：
-
os.ReadDir不过滤.和..，需手动跳过：if entry.Name() == "." || entry.Name() == ".." { continue } - 它不保证顺序，如需按字典序处理，得自己
sort.Slice - Go 1.16+ 才有；旧版本只能退回到
os.File.Readdir（已不推荐）
查内容时，别让 os.ReadFile 拖垮内存
对每个匹配到的文件都调 os.ReadFile，哪怕平均 10MB，1000 个文件就是 10GB 内存——OOM 或被 Linux OOM Killer 干掉是常态。
正确组合是：
-
filepath.WalkDir找路径 -
os.Open+bufio.Scanner流式读行 -
strings.Contains或预编译regexp.Regexp匹配
关键细节：
- 超长行（如单行 JSON 日志）会触发
scanner: token too long，需提前scanner.Buffer(make([]byte, 1 - 记得检查
scanner.Err()，I/O 错误（磁盘拔出、NFS 断连）不会自动 panic - 若后续要用正则匹配字节切片，直接用
scanner.Bytes()，避免scanner.Text()多一次 string 分配
并发不是万能药，限流比起 goroutine 更重要
对每个文件起一个 goroutine 去读内容，看似并行，实则极易打爆 too many open files（Linux 默认 ulimit -n 1024）。I/O 密集型任务的瓶颈不在 CPU，而在文件描述符、磁盘队列和内核调度。
安全做法：
- 用带缓冲 channel 控制并发数：
sem := make(chan struct{}, 10) - 每个 goroutine 开始前
sem ，结束后 <code> - 别在
WalkDir回调里直接起 goroutine 发送路径到 channel——这等于把调度压力甩给 runtime，不如先收集路径切片，再分片喂给 worker - 如果目标是“查出所有含 error 的日志行”，最终结果要汇总，那就别边扫边发 channel，先完成遍历再批量 dispatch
真正难的不是并发本身，而是判断哪些文件值得立刻处理、哪些可以延迟或跳过——比如根据文件修改时间 entry.Info().ModTime() 过滤出最近 1 小时的日志，这个判断必须放在 WalkDir 回调里做，而不是丢给 goroutine。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
