用chardet.detect()实测前10kb内容并检查confidence≥0.7，优先试gbk而非gb2312，pandas读取时按场景选encoding="gbk"或"utf-8-sig"，保存用"utf-8-sig"确保excel正确识别。
怎么判断CSV文件实际编码是不是GBK或UTF-8？
Python读CSV时出现中文乱码，90%是因为open()或pandas.read_csv()默认用了错误编码。别猜，用chardet实测：
- 安装后直接检测前10KB内容：
chardet.detect(open("data.csv", "rb").read(10000)) - 注意返回的
confidence值，低于0.7就不可信，得换更长样本或人工验证 - 常见误判：UTF-8带BOM的文件可能被标成
utf-8-sig，而GBK文件偶尔被误报为GB2312（二者兼容但不等价）
Windows记事本另存为CSV时默认选“ANSI”，实际就是本地GBK编码；Excel导出则可能带BOM的UTF-8——这两类最常踩坑。
用pandas读取时如何安全指定编码？
pandas.read_csv()的encoding参数必须精确匹配，错一个字符（比如写utf8漏了横杠）就报LookupError。
- 明确知道是GBK：
pd.read_csv("data.csv", encoding="gbk") - 怀疑有BOM的UTF-8：
pd.read_csv("data.csv", encoding="utf-8-sig")（自动剥离BOM，比utf-8更稳妥） - 如果检测结果是
GB2312，优先试gbk——后者兼容前者且支持更多汉字
别用encoding="utf-8"硬扛GBK文件，会直接抛UnicodeDecodeError: 'utf-8' codec can't decode byte...，且错误位置难定位。
自动化修复乱码CSV文件的脚本怎么写？
核心逻辑是：先探测 → 再读取 → 重存为标准UTF-8。关键点在于容错和覆盖控制：
- 用
try/except包住pd.read_csv()，按编码列表逐个尝试：["utf-8-sig", "gbk", "gb2312"] - 成功读入后立刻用
df.to_csv("fixed.csv", encoding="utf-8-sig", index=False)保存（加BOM确保Windows Excel能认） - 必须设
index=False，否则多一列数字索引，破坏原始结构
示例片段：
import pandas as pd
encodings = ["utf-8-sig", "gbk", "gb2312"]
for enc in encodings:
try:
df = pd.read_csv("broken.csv", encoding=enc)
df.to_csv("fixed.csv", encoding="utf-8-sig", index=False)
print(f"Success with {enc}")
break
except UnicodeDecodeError:
continue
为什么用to_csv保存时encoding="utf-8-sig"比"utf-8"更可靠？
Excel在Windows下打开纯utf-8编码的CSV，中文大概率还是乱码——因为它不识别UTF-8 BOM，把文件当ANSI处理。而utf-8-sig会在文件开头写入\ufeff（BOM），Excel看到这个标记就乖乖按UTF-8解析。
-
utf-8-sig对Python自身无影响，读写都透明 - 但注意：如果后续用其他程序（如某些Linux工具）处理该CSV，BOM可能被当成脏数据，需提前清洗
真正麻烦的是混合编码CSV（比如某几行是GBK，其余是UTF-8），这种没法靠自动探测解决，得人工分段处理或改源头导出设置。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
