os.readdir比filepath.walkdir更快，因其仅一次getdents系统调用返回轻量fs.direntry，不隐式调用os.lstat；而后者对每个条目默认执行lstat，导致数万小文件场景下开销激增3–5倍。
用 os.ReadDir 替代 filepath.WalkDir 是降低路径查找开销最直接有效的手段，尤其在含数万小文件的目录树中，性能差距可达 3–5 倍。
为什么 os.ReadDir 比 filepath.WalkDir 快
filepath.WalkDir 对每个遍历到的路径都隐式调用 os.Lstat，哪怕你只关心文件名或是否为目录；而 os.ReadDir 仅执行一次 getdents 系统调用，返回的是轻量级 fs.DirEntry 列表，不触发任何 stat。只有当你显式调用 entry.Info() 时才真正查元数据——这让你能按需延迟加载，跳过 90% 以上的系统调用。
常见错误现象：filepath.WalkDir 在扫描 node_modules 或 vendor 目录时 CPU 占用高、响应卡顿，strace 可见大量重复的 lstatat 调用。
- 若只需过滤路径名（如跳过
.git）、判断是否为目录，直接用entry.Name()和entry.IsDir() - 避免在循环里写
os.Stat(entry.Name())—— 这等于放弃os.ReadDir的全部优势 -
entry.Info()第一次调用会缓存结果，但仍有 syscall 开销；非必要不调用
手动递归时如何防 goroutine 泄漏
os.ReadDir 不递归，必须自己维护栈或队列。盲目为每个子目录启一个 goroutine，极易因深度过大或并发失控导致 goroutine 泄漏、文件描述符耗尽（too many open files）。
在 Golang 中使用 samber/hot 进行内存缓存，支持 LRU、LFU、TinyLFU、W‑TinyLFU、S3FIFO、ARC、TwoQueue、SIEVE、FIFO 等淘汰算法，提供 TTL、缓存加载器及分片功能。
- 用切片模拟栈：每次 pop 一个路径，
os.ReadDir后将子目录 push 回栈，单 goroutine 即可完成全量遍历 - 若需并发处理多个根目录（如同时扫
/var/log和/tmp），用带缓冲的 channel 控制 worker 数量，例如sem := make(chan struct{}, 4) - 每个 worker 处理**整个子树**（从某个目录开始递归），而非单个文件——避免 goroutine 创建/销毁开销压倒 I/O 收益
- 不要调
runtime.GOMAXPROCS；磁盘 I/O 是阻塞型，CPU 核心数不是瓶颈
路径过滤必须前置，不能后置
把所有路径先 collect 到内存再过滤，等于把性能优化全白做了。Golang 没有内置 glob，但 strings.HasPrefix、strings.HasSuffix、path.Base 查表快于正则，也远快于 filepath.Match。
- 预建忽略列表：如
skipDirs := map[string]bool{"node_modules": true, ".git": true, "build": true}，查表 O(1) - 跳过符号链接目录：用
entry.Type()&fs.ModeSymlink != 0判断，比os.Readlink+os.Stat轻量得多 - 避免在热路径中用
regexp.MustCompile；如需复杂匹配，复用已编译的*regexp.Regexp实例，且只在初始化时编译 - Windows 下注意路径分隔符，统一用
filepath.Clean或filepath.ToSlash标准化后再比对
大文件内容检查别用 os.ReadFile
路径扫描只是第一步；如果后续要读文件内容（比如查哈希、找关键字），os.ReadFile 会一次性分配整块内存，100 个 5MB 文件 = 500MB 内存瞬时占用，GC 压力陡增。
- 对 >1MB 的文件，优先用
os.Open+bufio.NewReaderSize(f, 64*1024)，64KB 缓冲区是多数 SSD 的友好粒度 - 只查文件头（如 magic bytes）？用
io.ReadFull(f, buf[:16])读前 16 字节即可，避免 mmap 的跨平台负担 - 需要随机访问或频繁 seek？考虑
golang.org/x/sys/unix.Mmap（Linux/macOS）或golang.org/x/sys/windows.CreateFileMapping（Windows），但务必配对调用Munmap/CloseHandle - 流式处理日志类文本：用
bufio.Scanner，它默认 4KB 缓冲+自动换行切分，内存占用恒定在几 KB
真正容易被忽略的点是：路径扫描和内容检查必须解耦。很多人把 os.ReadDir + os.ReadFile 套在一起写，结果优化了前者却毁在后者上——缓冲区大小、并发控制、错误恢复这三者必须同步设计，缺一不可。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
