arrow格式是apache arrow定义的跨语言列式内存格式，pandas与spark不共享内存，无法直接传递pyarrow.table；实际可行方案是用parquet（基于arrow）作为中转格式，通过to_parquet()和read_parquet()实现高效、类型保真的数据交换。
arrow 格式本身不是 Python 中的“优化手段”，而是 Apache Arrow 定义的一种内存列式数据格式；Pandas 和 Spark 都支持它，但**直接用 Arrow 作为 Pandas 与 Spark 之间“交换格式”并不现实——它们不共享内存，也无法直接传递 Arrow 内存块**。真正可行的是：**在序列化/传输环节使用 Arrow 的 IPC 或 Parquet（底层基于 Arrow）作为中间格式，避免 Pandas DataFrame → Spark DataFrame 时的默认低效转换**。
为什么不能直接传 pyarrow.Table 给 Spark？
Spark 的 spark.createDataFrame() 接收的是 Python list、Pandas DataFrame 或 RDD，不是 pyarrow.Table 对象。即使你把 pyarrow.Table 传进去，Spark 会回退到逐行解析，反而更慢。常见错误现象是：TypeError: Cannot convert pyarrow.lib.Table to DataFrame 或 CPU 占用飙升、内存暴涨。
用 to_parquet() + read_parquet() 替代 createDataFrame(df)
Parquet 是基于 Arrow 的列式存储格式，Pandas 和 Spark 都原生支持，且能保留类型（如 timestamp[ns]、decimal）、null 处理和分区信息。这是目前最稳定、兼容性最好的中转方式。
- 写入端（Pandas）：
df.to_parquet("tmp/data.parquet", engine="pyarrow", index=False)—— 必须指定engine="pyarrow"，否则可能用fastparquet，Spark 读取时易出错 - 读取端（Spark）：
spark.read.parquet("tmp/data.parquet")—— 不要加.option("inferSchema", "true")，Parquet 自带 schema，推断反而慢且不准 - 注意路径：本地路径需确保 Spark driver 和 executor 都能访问（如用
file:///前缀），集群环境建议用 HDFS/S3 路径
ArrowDataSet 在 Spark 3.3+ 中仅用于 Delta Lake / Unity Catalog 场景
Spark 3.3 引入了 ArrowDataSet，但它不是通用数据交换接口，而是为 Delta Lake 的 replaceWhere 或 Unity Catalog 的 INSERT ... VALUES 提供高效批量写入能力。普通 createDataFrame() 不走这条路。
- 如果你用 Delta 表：
df.write.format("delta").mode("overwrite").save("s3a://bucket/table")，底层自动用 Arrow 加速，无需手动干预 - 不要试图用
spark.range(1).select(...).write().format("arrow").save(...)—— Spark 没有arrow这个内置 format - PyArrow 的
serialize_pandas()仅用于 RPC（如 Dask、Ray），不适用于 Spark Driver → Executor 通信
时间类型对齐：Pandas datetime64[ns] vs Spark TimestampType()
Arrow 格式本身支持纳秒级时间戳，但 Pandas 和 Spark 对时区的处理逻辑不同。常见坑是：Pandas 用 tz_localize(None) 后写 Parquet，Spark 读出来变成 UTC 时间（或报错 IllegalArgumentException: Timestamp not supported）。
- 统一做法：写入前去掉时区：
df["ts"] = df["ts"].dt.tz_localize(None) - 或强制转为 UTC：
df["ts"] = df["ts"].dt.tz_convert("UTC").dt.tz_localize(None) - Spark 读取后，如需时区，用
col("ts").cast("timestamp").cast("timestamp").withTimeZone("Asia/Shanghai")（Spark 3.4+ 支持）
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
