本文介绍一种基于 numpy 向量化操作的高效方法，用于检测三维数组中每个波段（band）的时间列是否构成模 24 下的连续小时序列（如 [20,21,...,23,0,1,...]），并自动过滤掉不满足条件的波段，避免内存爆炸和显式循环。
本文介绍一种基于 numpy 向量化操作的高效方法，用于检测三维数组中每个波段（band）的时间列是否构成模 24 下的连续小时序列（如 [20,21,...,23,0,1,...]），并自动过滤掉不满足条件的波段，避免内存爆炸和显式循环。
在处理大规模气象、遥感或时序观测数据时，常遇到形如 (N, T, D) 的三维 NumPy 数组（例如 (100000, 24, 24)），其中第二维 T=24 代表一天内的 24 个小时，对应一列整数时间戳（0–23）。业务逻辑要求：每个波段（即 axis=0 上的切片）的时间列必须是长度为 24、模 24 连续的循环序列——允许起始非零（如 [20,21,22,23,0,1,...,19]），但严禁跳变（如 [0,2,3,...]）或重复（如 [1,2,4,4,0]）。传统做法（如转为 pandas Series + diff() + all()）易引发内存激增与性能瓶颈。本文提供纯 NumPy 向量化解决方案。
核心逻辑：模 24 差分验证
关键观察：一个合法的 24 小时循环序列满足
$$
\forall i \in [1,23],\quad x[i] \equiv x[i-1] + 1 \pmod{24}
$$
等价于：
$$
(x[1:] - x[:-1]) \bmod 24 \equiv 1
$$
因此，只需对时间列计算「后项减前项再模 24」，判断结果是否全为 1。
向量化实现（支持任意波段数）
以下函数 filter_continuous_bands 接收原始三维数组 arr 和指定时间列索引 hour_dim（默认为最后一维 -1），返回仅保留时间连续波段的新数组：
import numpy as np
def filter_continuous_bands(arr, hour_dim=-1, n_hours=24):
"""
高效筛选时间连续的波段（向量化实现）
Parameters
----------
arr : np.ndarray
输入数组，shape 为 (N, T, ...) 或 (... , T, ...)，其中 T 为时间维度长度
hour_dim : int
时间列所在轴（默认 -1，即最后一个轴）
n_hours : int
期望的连续小时数（默认 24）
Returns
-------
np.ndarray
筛选后的数组，shape 在 hour_dim 轴上可能减少
"""
# 提取时间列：保持维度以便广播，shape -> (N, n_hours)
if hour_dim == -1:
hours = arr[..., 0] # 假设时间列是最后一个维度的第一个通道（适配示例结构）
else:
hours = np.take(arr, 0, axis=hour_dim) # 通用提取
# 向量化验证每个波段：(N,) bool 数组
# 计算后项 - 前项 mod n_hours，检查是否全等于 1
diffs = (hours[:, 1:] - hours[:, :-1]) % n_hours
is_continuous = np.all(diffs == 1, axis=1)
# 返回筛选后的数组（沿第0维索引）
return arr[is_continuous]
# ✅ 复现最小示例验证
shape = (3, 5, 1)
random_array = np.random.randint(0, 10, size=shape)
random_array[0, :, :] = [[0], [1], [2], [3], [4]] # 合法：0→4 连续
random_array[1, :, :] = [[3], [4], [0], [1], [2]] # 合法：3→2 模5连续
random_array[2, :, :] = [[1], [2], [4], [4], [0]] # 非法：2→4 跳变，4→4 重复
filtered = filter_continuous_bands(random_array, n_hours=5)
print("原始波段数:", random_array.shape[0])
print("筛选后波段数:", filtered.shape[0])
# 输出：原始波段数: 3；筛选后波段数: 2
注意事项与优化建议
- 维度鲁棒性：本实现默认时间列为 arr[..., 0]（适配问题中 (..., 1) 结构）。若时间列位于其他位置（如 axis=1），请调整 hour_dim 并使用 np.take(arr, idx, axis=hour_dim) 提取。
- 内存效率：全程无 Python 循环、无 pandas 中间对象，diffs 为 (N, n_hours-1) 临时数组，空间复杂度为 $O(N \times T)$，远低于逐波段构造 Series 的 $O(N \times T^2)$。
- 扩展性：将 n_hours=24 替换为任意正整数（如 12 表示半日序列），即可适配不同时间粒度。
- 边界情况：当 n_hours == 1 时，所有单元素序列均视为合法（diffs 为空，np.all([]) 返回 True），符合数学定义。
通过该方案，百万级波段的筛选可在秒级完成，真正实现「高吞吐、低开销、可复用」的生产级时间完整性校验。
