pandas.read_csv()读取CSV最稳妥,但需注意编码、缺失值标记、大文件分块、URL重定向、类型检查与转换、时间列解析、分类变量声明及合并键类型一致等关键细节。

用 pandas.read_csv() 读取本地 CSV 文件最稳妥
绝大多数外部数据集是 CSV 格式,pandas.read_csv() 是默认首选。它自动推断列类型,但容易在数字含逗号、空值标记不统一、编码乱码时失败。
- 中文路径或文件名含中文时,Windows 下必须显式加
encoding='gbk'或encoding='utf-8-sig',否则报UnicodeDecodeError - 数值列里混着
"N/A"、"--"、空格,得用na_values参数声明:read_csv(..., na_values=['N/A', '--', ' ']) - 大文件(>500MB)别直接全读,加
nrows=10000先探结构,或用chunksize分批处理 - 列名含空格或特殊符号?加
skipinitialspace=True,避免解析错位
从 URL 直接加载数据集要防重定向和权限问题
pandas.read_csv() 支持传 URL,但不是所有链接都“开箱即用”——GitHub 原始链接要换 raw.githubusercontent.com,Google Drive 链接根本不能直读。
- GitHub 上的数据集,点 “Raw” 后复制地址,确保域名是
https://raw.githubusercontent.com/...,否则返回 HTML 页面,read_csv()会报ParserError: Error tokenizing data - 遇到
HTTP Error 403: Forbidden,大概率是服务器拒绝 Python 默认 UA,加requests中转并设 headers:pd.read_csv(io.StringIO(r.text)) - Google Sheets 公开表格可用导出链接:
https://docs.google.com/spreadsheets/d/{id}/export?format=csv,但 ID 必须来自 URL 路径段,不是浏览器地址栏完整链接
读入后立刻检查 df.dtypes 和 df.isna().sum()
读完不检查类型和缺失值,后续 scikit-learn 拟合会直接报错,比如 ValueError: Input contains NaN 或把字符串当数值参与计算。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限
-
df.dtypes显示某列为object,但本该是数值?用pd.to_numeric(df['col'], errors='coerce')强转,errors='coerce'把非法值变NaN而非崩掉 - 时间列识别成字符串?优先用
parse_dates参数在读取时解析:read_csv(..., parse_dates=['date_col']),比读完再pd.to_datetime()更快且少出错 - 分类变量(如 'low'/'medium'/'high')别留成 object,后续模型需要编码,先用
df['col'] = df['col'].astype('category')显式声明
多表合并前先确认索引和 join 键的 dtype 一致
机器学习常需拼接特征表、标签表、用户表,pd.merge() 报 KeyError 或结果行数异常,90% 是因为 join 键表面相同、实际类型不同——比如一表是 int64,另一表是 object(存着带空格的字符串数字)。
- 合并前必查:
df1['id'].dtype和df2['id'].dtype,不一致就统一转:df1['id'] = pd.to_numeric(df1['id'], errors='coerce') - 有前导零的 ID(如订单号 '00123')别用数字类型存,保留为
str,否则合并时 '00123' 变成 123,匹配全丢 - 左连接后发现右表字段全是 NaN?用
indicator=True加个 _merge 列,一眼看出哪些 key 在右表不存在
事情说清了就结束。真正卡住你的,往往不是语法,而是读进来的 df.dtypes 和你“以为”的不一样。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










