CSV中文乱码主因是文件编码与pandas读取encoding不一致,Windows记事本默认gbk而pandas默认utf-8;推荐用编辑器查实际编码或chardet探测,优先试'gbk'或'utf-8-sig'。

读CSV时中文乱码,先看encoding设对没
乱码不是pandas的问题,是文件保存时的编码和pandas.read_csv()读取时指定的编码不一致。Windows记事本默认存为gbk,但pandas默认用utf-8去读,一读就崩。
实操建议:
- 先用文本编辑器(如VS Code、Notepad++)打开CSV,右下角看实际编码,常见有
utf-8、gbk、gb2312、utf-8-sig - 如果编辑器显示正常但
read_csv报错或乱码,优先试encoding='gbk'(尤其国内Excel导出的CSV) - 如果文件开头有BOM(比如Excel另存为UTF-8),必须用
encoding='utf-8-sig',否则第一列名可能带\ufeff - 别硬猜,用Python快速探测:
import chardet<br>with open('data.csv', 'rb') as f:<br> print(chardet.detect(f.read(10000)))结果里encoding字段就是该填的值
sep和delimiter到底用哪个
两者完全等价,delimiter是别名,但官方文档和IDE提示都优先写sep,统一用它就行。真正容易踩坑的是分隔符本身——不是所有CSV都用逗号。
实操建议:
- Excel导出的CSV在英文系统下常用
sep=',',中文系统可能用sep=';'或sep='\t'(制表符) - 用
sep=None+engine='python'可让pandas自动推断分隔符(适合不确定格式时临时调试) - 如果列里本身含逗号(比如地址字段),且没加引号,
read_csv会误切——这时得配合quotechar='"'和quoting=csv.QUOTE_MINIMAL(需import csv)
读取大文件卡死或内存爆掉,试试这几个参数
read_csv默认把整个文件载入内存,几百万行CSV很容易吃光几GB内存。不是非得换Dask,几个参数就能缓解。
实操建议:
- 用
nrows=10000先读前N行验证逻辑,别一上来就读全量 - 用
usecols=['col1', 'col2']只加载需要的列,跳过无用字段(比如日志里的冗余时间戳) - 对纯数字列,显式指定
dtype={'price': 'float32'},比默认float64省一半内存 - 真要处理千万级,
chunksize=50000返回迭代器,逐块处理:for chunk in pd.read_csv('big.csv', chunksize=50000):<br> process(chunk)
列名缺失、多层头、空行——header和skiprows怎么配
真实CSV常有“标题行上面还有一行说明”“前两行是合并单元格”“中间插了统计汇总行”,这时候光靠header=0不够用。
实操建议:
-
header=[0,1]可读取多级列名(比如Excel里合并单元格导出的双行表头) -
skiprows=2跳过前两行,再用header=0把第三行当列名;或者直接header=2(表示第2行索引作为列名) - 遇到空行导致列数不一致,加
skip_blank_lines=True(默认True,但显式写上更安心) - 如果第一行是列名,但内容被Excel写成了
Unnamed: 0,大概率是原文件带索引导出的,加index_col=0让它当行索引处理
编码和分隔符是高频雷区,但最麻烦的是那些“看起来能读进去,结果数据对不上”的情况——比如日期列自动转成数字、数字列开头零被吃掉、布尔值被识别成字符串。这些不会报错,却会让后续分析全偏,得养成读完立刻df.dtypes和df.head()交叉核对的习惯。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











