
本文介绍如何使用 pyarrow 对 chunkedarray 进行“前移”(shift)操作:即整体右移一位,首位置填充 null,末尾元素被丢弃,最终得到一个逻辑上偏移后的数组。
本文介绍如何使用 pyarrow 对 chunkedarray 进行“前移”(shift)操作:即整体右移一位,首位置填充 null,末尾元素被丢弃,最终得到一个逻辑上偏移后的数组。
在数据处理(如时间序列分析、差分计算或滞后特征构造)中,“shift” 是常见操作:将数组/序列整体向右平移 n 位,空出的位置用 null(或 NaN)填充。PyArrow 原生不提供 .shift() 方法,但可通过组合已有 API 高效实现。
对于 ChunkedArray,核心思路是:构造一个长度为 1 的 null 元素数组(类型与原数组一致),再拼接原数组除最后一块外的所有 chunk。这是因为目标结果 [None, 1, 3, 2, 5, 2] 恰好等于 null + ca[0] + ca[1][:-1] —— 即跳过最后一块的最后一个元素。
以下为完整实现:
import pyarrow as pa ca = pa.chunked_array([[1, 3, 2], [5, 2, 1]]) # 构造 1 个 null 元素,类型自动继承自 ca.type null_head = pa.nulls(1, ca.type) # 取除最后一块外的所有 chunk:ca[:-1].chunks 返回 tuple,需解包 shifted = pa.concat_arrays([null_head] + list(ca[:-1].chunks)) print(shifted) # <pyarrow.lib.int64array object at> # [ # null, # 1, # 3, # 2, # 5, # 2 # ]</pyarrow.lib.int64array>
✅ 关键说明:
- ca[:-1].chunks 返回的是 tuple,必须转为 list 才能与 [null_head] 合并;
- pa.nulls(1, ca.type) 确保 null 元素类型与原始数据严格一致(如 int64),避免类型推断错误;
- 此方法天然支持任意 chunk 数量和大小,无需展平为 Python list,保持零拷贝优势;
- 输出为 pyarrow.Array(非 ChunkedArray),若需保留 ChunkedArray 形式,可进一步封装:pa.chunked_array([shifted])。
⚠️ 注意事项:
- 若原始 ChunkedArray 仅含 1 个 chunk(如 pa.chunked_array([[1,2,3]])),则 ca[:-1].chunks 为空,结果仅为 null_head(即 [None]),符合 shift 语义;
- 不支持负向 shift(左移),如需左移,应改用切片(如 ca[1:])并手动补 null 到末尾;
- 所有操作均基于 Arrow 内存模型,高效且内存友好,适用于大规模列式数据场景。
通过该模式,你可在 PyArrow 生态中灵活构建 shift、lag、lead 等时序操作基础组件。











