应显式指定engine='python'解决中文路径报UnicodeDecodeError问题,因pandas默认C引擎硬编码UTF-8解码路径字符串,而Python引擎直接处理str不受编码限制;文件内容中文仍需单独设encoding参数。

Python用pandas.read_csv读中文路径时报UnicodeDecodeError
直接传入含中文的文件路径给read_csv(),在Windows默认GBK环境下常报UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0——这不是文件内容编码问题,而是pandas底层用C引擎尝试以UTF-8解码路径字符串本身失败。
根本原因是:pandas默认启用C引擎(engine='c'),该引擎在解析路径字符串时硬编码UTF-8解码逻辑,无法处理系统本地编码(如GBK)的中文路径。
- 临时解决:把路径转成绝对路径+用
os.path.abspath()或Path.resolve()预处理,有时能绕过,但不稳 - 可靠解法:显式指定
engine='python',让pandas退回到纯Python实现的路径解析器,它直接使用Python内置字符串处理,不受C层编码限制 - 注意:
engine='python'仅影响路径解析和基础CSV分隔逻辑,不影响encoding参数对文件内容的解码
engine='python'的代价和适用边界
启用engine='python'后,read_csv()会变慢(尤其大文件),且部分高级功能受限,比如不支持chunksize流式读取、跳过行数(skiprows)行为略有差异、不兼容dtype中某些复杂类型推断。
- 只在路径含中文/日文/韩文等非ASCII字符时启用,其他情况优先用默认C引擎
- 若文件本身也含中文内容,仍需额外指定
encoding='gbk'或encoding='utf-8-sig',这和engine无关 - 测试发现:10MB以内CSV,
engine='python'延迟增加约15%~30%,可接受;超100MB建议先用shutil.copy()把文件复制到英文路径再读
完整可运行示例(含错误对比)
# 错误写法(即使加encoding也不行)
import pandas as pd
df = pd.read_csv('D:/测试数据/用户信息.csv') # 直接报UnicodeDecodeError
<h1>正确写法</h1><p>df = pd.read_csv('D:/测试数据/用户信息.csv', engine='python') # 路径OK
df = pd.read_csv('D:/测试数据/用户信息.csv', engine='python', encoding='gbk') # 路径+内容都OK</p><h1>更稳妥:路径用raw string或正斜杠,避免转义干扰</h1><p>df = pd.read_csv(r'D:\测试数据\用户信息.csv', engine='python', encoding='gbk')</p><div class="aritcle_card flexRow artxards">
<div class="artcardd flexRow">
<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill12569" title="Biopython"><img
src="https://img.php.cn/upload/skill/001/246/273/6adaf20e695c2374.jpg" alt="Biopython" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a rel="nofollow" href="/xiazai/skill12569" title="Biopython" class="overflowclass">Biopython</a>
<p class="overflowclass">全面的分子生物学工具集。适用于序列操作、文件解析(FASTA/GenBank/PDB)、系统发育分析,以及通过 Bio.Entrez 以编程方式访问 NCBI/</p>
</div>
<a rel="nofollow" href="/xiazai/skill12569" title="Biopython" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
</a>
</div>
</div><h1>或</h1><p>df = pd.read_csv('D:/测试数据/用户信息.csv', engine='python', encoding='gbk')
</p>
为什么不用chardet自动检测路径编码
路径不是文件内容,没有BOM、没有字节流上下文,chardet或charset_normalizer对路径字符串本身做检测毫无意义——它只是一个Python str对象,编码问题发生在C扩展层解析这个字符串的时候,不是读文件时发生的。
所以别在路径上折腾编码检测,该用engine='python'就用,这是pandas官方文档明确承认的合法规避方式。真正要小心的是:别在生产脚本里无条件全局设置pd.options.mode.chained_assignment = None这类选项来“掩盖”路径错误,那只是把报错藏得更深。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










