如何在Python3中高效比较两个文件夹的差异

云静君_4949

云静君_4949

2026-10-12

996人浏览

原创

filecmp.dircmp默认不比内容,因其仅依赖文件名、大小和修改时间(mtime)做轻量级结构比对,避免i/o开销;需设shallow=false并配合filecmp.cmp(f1,f2,shallow=false)逐字节校验diff_files才能确认真实内容差异。

如何在python3中高效比较两个文件夹的差异

直接用 filecmp.dircmp 是最快路径,但默认行为会漏判内容差异——关键在 shallow=False 和手动校验 diff_files。

为什么 filecmp.dircmp 默认不比内容?

它只检查文件名、大小和修改时间(mtime),不读取字节。跨平台同步、编辑后保存、硬链接等场景下,mtime 可能不变,size 也可能巧合一致,导致 diff_files 为空,但实际内容已不同。

  • 调用 filecmp.dircmp(a, b) 后,d.diff_files 列表只反映“结构级差异”,不是“真实内容差异”
  • d.same_files 同理,仅表示 size + mtime 相同,不代表内容一致
  • 子目录差异藏在 d.subdirs 字典里,需递归访问,不手动遍历就看不到嵌套变化

如何真正比内容?逐字节 or 哈希?

小文件(filecmp.cmp(f1, f2, shallow=False) 最简;大文件必须避免内存爆炸,改用分块哈希。

python 查询技能
python 查询技能

查询客流数据,输出JSON格式,可直接导入Bitable等可视化工具

下载
  • shallow=False 强制逐字节比对,但会把两个文件全 load 进内存 —— 500MB 文件可能触发 MemoryError
  • 更稳方案:用 hashlib.sha256() 分块读(如每次 8192 字节),算哈希再比对,内存占用恒定
  • 注意:不要用 os.path.getsize() + os.path.getmtime() 自己拼判断逻辑,filecmp.dircmp 的内部实现已优化路径遍历和 stat 批量调用

怎么忽略临时文件或 .git 目录?

filecmp.dircmp 支持 hide 和 ignore,但语义易混淆:两者都跳过匹配项,hide 是“隐藏显示”,ignore 是“完全不参与比对”。实际效果一样,选一个用就行。

  • 传入列表,如 ignore=['.git', '__pycache__', '*.tmp'] —— 支持通配符,不支持正则
  • 路径匹配基于 basename,不是完整路径,所以 'temp' 会同时过滤 /a/temp 和 /b/c/temp
  • 若需按完整路径过滤(如只忽略 /a/.git 但保留 /b/.git),得自己封装 walk + 条件跳过,filecmp.dircmp 不支持

输出 Git 风格 diff 要自己拼?

是的。filecmp.dircmp 不提供 unified diff 格式,report() 输出是纯文本树状结构,可读性差。要类 Git 输出,得自己构造 --- a/file / +++ b/file 行,并补上增删标记。

  • 对 d.left_only 中每个路径,输出 -<path></path> 表示仅源存在
  • 对 d.right_only,输出 +<path></path> 表示仅目标存在
  • 对 d.diff_files 中确认内容不同的文件,可用 difflib.unified_diff() 读取两文件行内容生成 patch(注意编码和换行符)

最常被跳过的一步:没检查 os.path.isfile() 就直接传路径给 filecmp.cmp() —— 如果同名路径一边是文件、一边是目录,会抛 IsADirectoryError 或静默返回 False,导致误报“内容不同”。务必先用 os.path.isfile() 和 os.path.isdir() 排除类型不一致的情况。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1711

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4324

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1689

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

25237

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3087

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3107

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1163

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2403

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程