Python怎么批量转码文件_GBK编码批量转UTF-8自动化脚本全解-Python教程-PHP中文网

遇到unicodedecodeerror说明文件是gbk编码，python默认utf-8读取导致报错；应优先试encoding='gbk'读取，再用pathlib批量转码为utf-8，注意过滤文件类型、避免覆盖、处理路径和异常。

python怎么批量转码文件_gbk编码批量转utf-8自动化脚本全解

遇到 `UnicodeDecodeError` 说明文件确实是 GBK 编码，但 Python 默认按 UTF-8 读取

Windows 上用记事本保存的文本、老版 Excel 导出的 CSV、某些国产软件日志，经常默认用 GBK（或 GB2312、GB18030）编码，而 Python 3 的 open() 默认走 utf-8。一读就报错：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc4 in position 0: invalid continuation byte——这串乱码字节就是典型的 GBK 开头。

别急着改代码逻辑，先确认编码：用 chardet 或 file -i filename（Linux/macOS）粗略判断；更稳的是直接试 open(..., encoding='gbk') 能否成功读取。注意：gbk 在 Python 中兼容 GB2312 和大部分 GB18030 字符，够用。

不要依赖 chardet.detect() 对单个小文件的判断结果——它对短文本误判率高，尤其纯中文无标点时
encoding='gb18030' 比 'gbk' 更宽泛，但部分旧系统生成的文件反而只认 'gbk'，建议优先试 'gbk'
如果文件里混了 UTF-8 BOM（如 \xef\xbb\xbf）又带 GBK 内容，会更麻烦——这种情况得先跳过 BOM 再按 GBK 解码，属于边缘场景，先不展开

用 `pathlib` + `open()` 批量转码最稳，不用第三方库

不用装 iconv 或 recode，Python 标准库完全够用。核心思路：读入时指定 encoding='gbk'，写入时指定 encoding='utf-8'，中间内容不做任何字符串处理（避免二次编码错误）。

关键点是路径遍历和文件过滤——别一股脑转所有文件，容易覆盖配置文件或二进制文件：

用 pathlib.Path('your_dir').rglob('*.txt') 比 os.walk 更简洁，支持通配符匹配
务必加后缀过滤，比如只转 *.txt、*.csv、*.log，避开 .py、.exe、.pdf 等
写入前用 try/except 包住读操作，跳过真正无法解码的文件（比如其实是图片），别让整个脚本中断
写入路径建议用新目录（如 output/），而不是覆盖原文件——调试阶段千万别 input == output

简短示例：

from pathlib import Path
for f in Path('data').rglob('*.txt'):
    try:
        content = f.read_text(encoding='gbk')
        (Path('output') / f.relative_to('data')).write_text(content, encoding='utf-8')
    except UnicodeDecodeError:
        print(f"跳过 {f}：无法按 GBK 解码")

`shutil.copyfileobj()` 不适用——它不处理文本编码转换

看到“批量”“文件”就想用 shutil？小心掉坑。shutil.copyfileobj() 是纯字节流拷贝，不碰编码。你传进去的是 GBK 字节，它原样写出去，还是 GBK，不是 UTF-8。

python-parallelization

将顺序 Python 代码转换为并行/并发实现，用于在需要并行化 Python 代码、提升性能时使用。

下载

常见错误写法：

with open('in.txt', 'rb') as src:
    with open('out.txt', 'wb') as dst:
        shutil.copyfileobj(src, dst)  # ❌ 输出仍是 GBK 字节，不是 UTF-8 文本

必须经过字符串这一层：读成 str（解码），再写成 bytes（编码）。绕不开 encoding= 参数。

想提速？别用 shutil，改用 buffering=8192 控制 open() 的缓冲区大小，对大文件更有效
若文件超大（>500MB），考虑分块读取 read(65536) 再解码，但要注意 GBK 是变长编码，末尾可能截断一个双字节字符——得手动补全，复杂度陡增，一般情况不必要