os.walk 比 glob 更可靠:逐层遍历、可控符号链接、优雅跳过权限错误;需边遍历边用 getsize() 过滤字节大小,避免内存爆炸,慎用 sorted 全量排序,注意 I/O 限速。

用 os.walk 遍历目录比 glob 更可靠
直接用 glob 递归匹配(如 **/*.log)容易漏掉深层嵌套或权限受限的子目录,而 os.walk 能逐层进入、自动处理符号链接(需控制 follow_symlinks=False),且可随时跳过无权访问的路径而不中断整个扫描。
关键点是:在每层遍历中对每个 file 调用 os.path.getsize(),而不是先收集所有路径再统一 stat——后者会显著拖慢响应,尤其当目录极深、文件极多时。
按大小过滤必须用字节单位,别信 shutil.disk_usage
shutil.disk_usage 返回的是整个挂载点的总/可用空间,和“找大文件”完全无关,误用会导致逻辑错位。
真正要做的,是设定一个字节阈值(比如 100MB = 100 * 1024 * 1024),然后只保留 os.path.getsize(filepath) >= threshold 的结果。注意:不要用字符串比较(如 "100MB"),也不要依赖第三方包做单位转换——自己算最稳。
排序和输出要防内存爆炸,别一次性 sorted() 全部结果
服务器上可能扫出几万甚至几十万个大文件,全 load 到内存再 sorted(..., key=os.path.getsize) 很容易 OOM。
更稳妥的做法是:边遍历边用 heapq.nlargest(n, iterable, key=...) 维护 Top-N;或者写入临时文件后用系统 sort -n 处理(适合超大数据量)。
输出格式建议带绝对路径 + 字节数 + 可读大小(用 humanize.naturalsize 或自写换算),否则运维同学拿到数字还得手动除 1024 三次。
权限错误和符号链接必须显式处理,否则脚本静默失败
Linux 下遇到 PermissionError: [Errno 13] Permission denied 是常态,不能靠 try/except 包裹整个 walk 循环——那样会吞掉真正的异常。应该在 for root, dirs, files in os.walk(...) 内,对每个 root 做 os.access(root, os.R_OK) 检查,不通过就 dirs[:] = [] 清空子目录列表,让 walk 自动跳过下层。
符号链接默认会被 os.walk 展开,如果不想计入目标文件的真实大小(比如指向 /var/log 的软链),加参数 follow_symlinks=False 并单独判断 os.path.islink(filepath) 后跳过。
实际最难的不是写出来,而是让脚本在凌晨两点跑完还不把生产机的 I/O 打满——加个 time.sleep(0.01) 在每次文件 stat 后,或者用 ionice -c 3 启动,这些细节不写进代码里,上线就出事。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











