本文介绍一种基于 NumPy 的高效方法，用于同步过滤多个等长列表：仅保留那些在所有列表相同索引位置构成的元组（如 (l1[i], l2[i], l3[i])）首次出现的索引，从而实现跨列表的“行级”去重。
本文介绍一种基于 numpy 的高效方法，用于同步过滤多个等长列表：仅保留那些在所有列表相同索引位置构成的元组（如 `(l1[i], l2[i], l3[i])`）首次出现的索引，从而实现跨列表的“行级”去重。
在实际数据处理中，我们常遇到多个对齐的列表（例如分别表示用户ID、行为类型、时间戳的三个平行列表），需要按“行”（即相同索引位置的元素组合）去重——即仅保留每个唯一三元组首次出现的位置，同时保持各列表在该位置上的元素同步保留。这与单列表去重（如 np.unique(l1)）有本质区别：它要求判断的是组合 (l1[i], l2[i], l3[i]) 是否重复，而非单个列表内部的重复。
Python 标准库和 NumPy 均无直接支持“多列表按索引组合去重”的内置函数，但可通过向量化方式高效实现。核心思路是：将多列表“压缩”为结构化数组或元组序列，再对其应用唯一性判定。
以下为推荐方案（兼容 NumPy 1.20+，推荐使用 np.unique 配合 axis=0）：
import numpy as np
l1 = ['a', 'b', 'c', 'd', 'e', 'f', 'a', 'j', 'a']
l2 = ['b', 'a', 'b', 'd', 'e', 'f', 'b', 'j', 'b']
l3 = ['c', 'a', 'a', 'd', 'e', 'f', 'c', 'j', 'c']
# 步骤1：堆叠为 (n, 3) 形状的二维数组
stacked = np.column_stack([l1, l2, l3])
# 步骤2：沿行方向（axis=0）获取唯一行及其首次出现索引
_, unique_indices = np.unique(stacked, axis=0, return_index=True)
# 步骤3：按索引筛选原始列表（自动保持同步）
no_repeat_l1 = [l1[i] for i in sorted(unique_indices)]
no_repeat_l2 = [l2[i] for i in sorted(unique_indices)]
no_repeat_l3 = [l3[i] for i in sorted(unique_indices)]
print("去重后 l1:", no_repeat_l1) # ['a', 'b', 'c', 'd', 'e', 'f', 'j']
print("去重后 l2:", no_repeat_l2) # ['b', 'a', 'b', 'd', 'e', 'f', 'j']
print("去重后 l3:", no_repeat_l3) # ['c', 'a', 'a', 'd', 'e', 'f', 'j']
✅ 关键说明：
- np.column_stack 确保各列表按索引对齐；
- np.unique(..., axis=0) 将每行视为一个整体进行唯一性判断（默认返回排序后的唯一行，但 return_index=True 可捕获原始首次出现位置）；
- 使用 sorted(unique_indices) 保证输出顺序与原始数据一致（因 np.unique 默认按字典序排序索引，需显式排序以维持时序逻辑）。
⚠️ 注意事项：
- 所有输入列表长度必须严格相等，否则 column_stack 将报错；
- 若列表含不可哈希类型（如嵌套列表、字典），需先转换为字符串或使用 dtype=object 并配合自定义比较逻辑；
- 对于超大数据集，可考虑分块处理或改用 Pandas 的 drop_duplicates()（df.drop_duplicates(subset=[col1,col2,col3]) 更直观且支持多种 keep 策略）。
该方法兼具性能与可读性，避免了低效的 Python 循环，是处理多列表协同去重任务的标准实践。
