pd.options.mode.dtype_backend = 'pyarrow' 是 pandas 2.0 真正省内存的关键开关；不设置它，即使安装 pyarrow 或使用 read_csv，字符串列仍默认为 object dtype，内存占用高，而启用后使用 string[pyarrow] 可将 100 万行城市名从 260 mb 降至 45 mb。
pd.options.mode.dtype_backend = 'pyarrow' 这一行配置，才是 Pandas 2.0 真正“省内存”的开关。不设它，哪怕装了 PyArrow、用了 read_csv，默认还是走 NumPy 的老路。
string[pyarrow] 和 object 字符串列的内存差异
- Pandas 1.x 中字符串列默认是
objectdtype：每个字符串都是独立 Python 对象，指针散落在堆内存里，还要额外维护引用计数和类型信息 - Pandas 2.x 启用 PyArrow 后，
string[pyarrow]把所有字符串存进一块连续内存 + 一个空值位图（null bitmap），没有 Python 对象开销
实测同一份 100 万行英文城市名数据：
-
object占用约 260 MB -
string[pyarrow]占用约 45 MB
节省超 80%，不是估算，是df.memory_usage(deep=True).sum()实测值
别指望 df['col'].astype('string') —— 这只是转成 Pandas 自己的 StringDtype（基于 NumPy），内存几乎不降。必须显式写 string[pyarrow] 或全局配 dtype_backend
read_csv 时没配 dtype_backend='pyarrow' 就白装 PyArrow
-
engine='pyarrow'只控制 CSV 解析阶段是否用 PyArrow 解析器（快，但解析完仍可能转回object） -
dtype_backend='pyarrow'才决定解析完的数据存在哪儿：连续 Arrow 内存块，而非一堆 Python 对象
正确写法：
df = pd.read_csv('data.csv', dtype_backend='pyarrow')
错误写法：
df = pd.read_csv('data.csv', engine='pyarrow') # 解析快了，但内存还是高
两者不配对，就只吃到一半红利；配对了，读取+存储一步到位省内存。
category 类型在 PyArrow 下不生效，别混用
- Pandas 1.x 常用
astype('category')压缩重复字符串（比如状态、性别），确实能省 60%–80% 内存 - 但在
dtype_backend='pyarrow'模式下，category被忽略，强制转为string[pyarrow]，且无法回退
所以：
- 如果你已启用 PyArrow，就别再手动
astype('category')，它无效还可能报 warning - 如果数据中类别极少（如只有 3–5 个固定值），可考虑用整数编码 +
Int8Dtype配合dtype_backend='pyarrow'，更稳
PyArrow 不是“加速插件”，它是 Pandas 2.x 的新底层——字符串怎么存、缺失值怎么标、跨列运算怎么零拷贝，全由它定义。省内存不是副作用，是设计前提。最容易被忽略的点，就是以为装了 pandas>=2.0 就自动生效，其实第一步必须主动打开 dtype_backend 开关。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
