直接用 pd.dataframe.astype("string") 无法获得pyarrow加速效果，因为该dtype基于python object而非pyarrow引擎；必须显式使用 "string[pyarrow]" 等带后缀的扩展类型，数值列同理需用 "int64[pyarrow]" 等，且注意nan需先替换为pd.na。
为什么直接用 pd.DataFrame.astype("string") 无法获得PyArrow加速效果？
因为 Pandas 默认的 "string" dtype 是基于 Python object 的，它不调用 PyArrow 引擎；真正启用 Arrow 加速需要显式使用 "string[pyarrow]" 这类带后缀的扩展类型。否则即使你装了 pyarrow，Pandas 仍走传统路径，字符串操作（如 .str.contains()、.str.split()）不会变快。
常见错误现象：df["col"].astype("string").dtype 返回 string（无 [pyarrow]），且 df["col"].str.contains(...) 执行缓慢、不支持并行。
- 必须写成
df["col"].astype("string[pyarrow]")或df.astype({"col": "string[pyarrow]"}) - 数值列同理：用
"int64[pyarrow]"、"float64[pyarrow]"，而非普通"int64" - 注意：PyArrow 类型不支持
NaN（而是用pd.NA），转换含np.nan的列会报错，需先.replace({np.nan: pd.NA})或用pd.ArrowDtype(pa.string())手动构造
如何批量将 DataFrame 转为全 PyArrow 后备？
不能只靠 .astype() 猜测类型——Pandas 对空列、混合类型列推断出的 dtype 往往不是 Arrow 兼容的。推荐用 pd.api.interchange.from_dataframe() + to_pandas() 绕行，但更稳妥的是手动指定：
import pandas as pd
import pyarrow as pa
<h1>定义 Arrow schema（明确字段类型）</h1><p>schema = pa.schema([
("name", pa.string()),
("age", pa.int64()),
("score", pa.float64()),
])</p><h1>转换：先转为 Arrow Table，再回包为 Pandas DataFrame（带 Arrow dtype）</h1><p>table = pa.Table.from_pandas(df, schema=schema)
df_arrow = table.to_pandas(types_mapper=pd.ArrowDtype)
</p>
这样生成的 df_arrow 每列都是 ArrowDtype，且底层是 Arrow 内存布局，后续 .str、.dt 操作可利用 Arrow C++ 实现加速。
- 如果原始
df有 nullable 整数（如Int64），对应 Arrow 类型应为pa.int64()，不是pa.int64()+nullable=True（Arrow 默认支持 null） -
to_pandas(types_mapper=pd.ArrowDtype)是关键，漏掉就退化为 object dtype - 大表慎用
pa.Table.from_pandas()，它会复制数据；若内存敏感，考虑分块处理或直接用pyarrow.dataset
read_csv 时如何跳过 Pandas 中间层，直读为 Arrow-backed DataFrame？
最省资源的方式是绕过 Pandas，用 pyarrow.csv.read_csv() 直接读取，再转 Pandas：
import pyarrow.csv as pc
<p>table = pc.read_csv("data.csv", parse_options=pc.ParseOptions(delimiter=","))
df = table.to_pandas(types_mapper=pd.ArrowDtype)
</p>
比 pd.read_csv(..., dtype="string[pyarrow]") 更彻底：前者在解析阶段就用 Arrow C++，后者仍用 Pandas 解析器（只是结果转了 dtype）。
- 支持自定义
convert_options控制类型推断，例如强制某列为pa.timestamp("s") - 遇到列名含空格或特殊字符，
read_csv默认会失败，需加read_options=pc.ReadOptions(use_threads=True, column_names=...) - 若 CSV 有混合类型列（如一列里既有数字又有字符串），Arrow 默认报错，得提前用
convert_options=pc.ConvertOptions(column_types={"col": pa.string()})显式指定
哪些 Pandas 操作在 Arrow dtype 下依然不加速？
不是所有方法都自动受益。Arrow 加速主要覆盖 .str、.dt、.cat 和部分聚合（如 .nunique()），但以下常见操作仍走 Pandas 路径：
-
.groupby().agg()：除非 agg 函数本身是 Arrow-aware（如"sum"在数值列上），否则会回退到 object 处理 -
.merge()：目前不利用 Arrow 的 hash join，性能提升有限 -
.apply()：无论 lambda 还是函数，只要没标注vectorized=True，就是逐行调用 Python —— Arrow dtype 不改变这点 - 布尔索引（
df[df["x"] > 0]）在 Arrow 数值列上很快，但字符串比较（df[df["s"].str.len() > 5]）才真正体现优势
真正想榨干 Arrow 性能，得组合使用 pyarrow.compute 函数（如 pc.equal(df["a"], df["b"]) ）替代 Pandas 表达式，并尽量避免 .to_numpy() 或 .values 触发拷贝。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
