不指定 dtype 会让 read_csv 变慢又吃内存，因默认逐行推断类型导致冗余存储和低效计算；合理指定 dtype（如 'Int32'、'category'、parse_dates）可显著降内存、提速度。
为什么不指定 dtype 会让 read_csv 变慢又吃内存
默认情况下 pd.read_csv() 会逐行扫描前几行做类型推断，把数字列全当成 float64 或 int64，字符串列一律用 object。这不仅浪费内存（比如城市名只占几十个值，却为每行分配指针），还会拖慢后续所有操作——因为 CPU 要搬运更多字节、缓存命中率下降、groupby / sort 等操作内部要频繁做类型检查。
- 一个含 100 万行、20 列的 CSV，未设
dtype时内存常达 1.2GB；加了合理dtype后可压到 300MB 以内 -
object列的groupby比category慢 5–20 倍，而category必须靠显式dtype={'col': 'category'}触发 - 数值列若实际范围在 [-100, 100]，用
int8替代int64，单列内存直接降为 1/8
dtype 怎么写才真正生效（不是摆设）
只写 dtype={'user_id': 'int32'} 不够——如果 CSV 里该列混有空值或非数字字符，read_csv 会静默 fallback 回 object，你根本看不出异常，但性能已崩坏。
- 对可能含缺失值的整数列，必须用可空类型：
'Int32'（首字母大写，是 pandas 的 nullable integer 类型），不能写'int32' - 字符串列想转
category，得确认基数（唯一值数量）确实低（如status只有 'active'/'inactive'/'pending'），否则反而更慢 - 日期列务必配合
parse_dates参数，例如parse_dates=['order_time']，否则即使写了dtype={'order_time': 'datetime64[ns]'}也无效 - 用
pd.api.types.infer_dtype()快速探查某列真实分布，再决定用int8/category/string
一次读取就定死 dtype：实战模板
别依赖“先读小样再改”，小样本推不出全量类型冲突。直接按业务逻辑预设，出错时再调。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 数值列：查最小/最大值后选最紧的类型，例如
np.iinfo(np.int16).min/max是 -32768～32767，够用就别用int32 - 字符串列：低基数用
'category'，高基数或需正则处理的用'string'（pandas 2.0+ 推荐，比object更省内存且支持原生字符串方法） - 布尔列：用
'boolean'（可空布尔），别用object或bool（后者不支持NaN） - 完整示例：
pd.read_csv("data.csv", usecols=['id','city','score','ts'], dtype={'id': 'Int32', 'city': 'category', 'score': 'float32'}, parse_dates=['ts'])
容易被忽略的坑：dtype 和 engine 的协同失效
用了 engine='pyarrow' 却没配 dtype，PyArrow 仍会尝试推断——它比 pandas 更严格，遇到格式不一致直接报 ArrowInvalid 错误，而不是默默降级。反过来，写了 dtype 但 engine 还是默认 'c'，那类型转换发生在 Python 层，内存和速度优势全丢。
- PyArrow 引擎下，
dtype必须与 Arrow 类型对齐，例如'category'在 PyArrow 中对应dictionary，所以要写dtype={'city': 'category'}，它能识别 - 如果 PyArrow 报
Unable to parse string，优先检查该列是否有非法日期/数字，而不是删dtype——应补na_values或预清洗 -
low_memory=False在 PyArrow 下无效，别写；它只对默认 C 引擎有意义，且开启后反而可能因分块重读导致更慢
真实场景里，dtype 配置不是一劳永逸的开关，而是和数据质量、引擎选择、列语义强绑定的动作。少一个 'Int32' 里的大写 I，或者漏掉一个 parse_dates，都可能让优化效果归零。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
