直接升级python 3.11对pd.read_csv()提速有限，必须主动使用usecols、显式dtype和category类型优化，配合parquet格式替代csv才能显著提升性能。
pd.read_csv() 本身不会因 Python 3.11 自动变快——你得主动做几件事，否则升级版本几乎白换。
为什么直接升级 Python 3.11 对 CSV 加载提速有限？
Python 3.11 确实让 pd.read_csv() 中的字符串解析快 25–35%，但这个收益只在“大量 str.replace()、str.split() 预处理”时明显。如果你没做这些，或者瓶颈在内存分配、类型推断或 I/O，那提速基本感知不到。
更常见的情况是：读完就卡住，不是因为 Python 慢，而是 Pandas 默认把所有列当 object 存，一列城市名占几倍内存，后续 groupby 直接拖慢 10 倍。
必须做的三件事：dtype + usecols + category
这三项操作比换 Python 版本有效得多，且完全兼容 3.10/3.11：
- usecols 能跳过不需要的列，减少 I/O 和内存占用
- 显式指定 dtype（比如 'int32'、'float32'）避免默认的 int64/float64 浪费一半内存
- 把低基数字符串列（如状态、地区、分类标签）转成 'category'，groupby 和 value_counts() 会快 5–20×
示例：df = pd.read_csv("data.csv", usecols=["id", "city", "score"], dtype={"id": "int32", "city": "category", "score": "float32"})
别碰 chunksize，除非真要流式处理
chunksize 看似能防 MemoryError，但它只是把大问题切成小份——每块仍会触发完整解析流程，总耗时往往更长，还容易漏掉全局统计逻辑（比如全量 mean()）。
真正该用分块的场景只有两个：
- 你要边读边写（比如清洗后实时入库）
- 数据大到连单块都装不下（>1GB 单 chunk），且不依赖跨块聚合
使用 qbo-mileage CLI 及用户凭证，从 Airtable、Outlook 或 Google Calendar 记录生成 QuickBooks Online 里程 CSV 文件。
如果只是想“不崩”，优先调 dtype 和 usecols；它们能让 100 万行从占 800MB 降到 200MB，根本不需要分块。
Parquet 替代 CSV 是最省事的加速项
CSV 是纯文本，每次读都要重新解析；Parquet 是列存二进制格式，自带压缩和类型信息。
实测同一数据：
- 文件体积缩小约 75%
- pd.read_parquet() 比 pd.read_csv() 快 3 倍以上（尤其配合 pyarrow 引擎）
- 支持按列读取（columns=["a","b"]），跳过解析无关字段
转换只需一行：pd.read_csv("data.csv").to_parquet("data.parquet", engine="pyarrow")
之后所有分析都用 pd.read_parquet("data.parquet") ——不用改业务逻辑，提速立现。
Python 3.11 的价值不在“自动加速”，而在它让 dtype 优化、category 转换、pyarrow 加载这些操作跑得更稳更快。最容易被忽略的点是：很多人花时间调参、换引擎，却漏掉第一行就该写的 usecols 和 dtype——它们才是决定加载快慢的开关。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
