本文介绍一种向量化、可读性强且性能良好的方法：基于另一张含缺失值（NaN）的 DataFrame，从主 DataFrame 中批量删除匹配行，将 NaN 视为通配符（即任意值均可匹配），避免显式循环和多次拷贝。
本文介绍一种向量化、可读性强且性能良好的方法：基于另一张含缺失值（`nan`）的 dataframe，从主 dataframe 中批量删除匹配行，将 `nan` 视为通配符（即任意值均可匹配），避免显式循环和多次拷贝。
在数据清洗与人工校验场景中，常需根据人工标注的“删除规则表”（如 remove_df）从大规模主表（如 target_df）中剔除特定组合行。关键挑战在于：规则表中的 NaN 应代表“该字段不限制”，即通配符行为（wildcard）——例如 id_1='1', id_2=NaN, attr='A' 应匹配所有 id_1=='1' 且 attr=='A' 的行，无论 id_2 值为何。
原始方案采用逐行迭代 + 多次 DataFrame 筛选，存在明显性能瓶颈：每次 result_df = result_df[~mask] 都会创建新副本，时间复杂度接近 O(n × m)，且 iterrows() 在大数据集上效率低下。更优解是一次性构建全局布尔掩码（mask），再执行单次布尔索引。
核心思路如下：
- 对 remove_df 中每一行，提取其非空字段（row[row.notna()]）；
- 利用 target_df[cols].eq(row_valid, axis=1) 实现按行广播比较（无需转置或构造临时 DataFrame）；
- 使用 .all(axis=1) 判定整行是否完全匹配；
- 将所有行的匹配结果通过逻辑或（|）聚合为最终删除掩码；
- 最后用 target_df[~mask] 一次性过滤。
以下是完整、可直接运行的优化实现：
import pandas as pd
from functools import reduce
from operator import or_
# 构造示例数据
target_df = pd.DataFrame({
'id_1': ['1', '1', '1', '1', '2', '4', '4'],
'id_2': ['2', '2', '3', '3', '3', '5', '5'],
'attr': ['A', 'B', 'A', 'B', 'C', 'C', 'D']
})
remove_df = pd.DataFrame({
'id_1': ['1', '1', '4'],
'id_2': ['2', '3', None],
'attr': ['A', None, None]
})
# 向量化通配符匹配函数
def make_remove_mask(target, remove):
def _match_row(r):
valid = r[r.notna()]
# 在 target 对应列上做逐行等值比较
return target[valid.index].eq(valid, axis=1).all(axis=1)
# 对 remove_df 每行生成匹配 mask，并合并（逻辑或）
masks = (_match_row(row) for _, row in remove.iterrows())
return reduce(or_, masks, pd.Series([False] * len(target)))
# 应用删除
mask_to_remove = make_remove_mask(target_df, remove_df)
result_df = target_df[~mask_to_remove].reset_index(drop=True)
print(result_df)
输出：
id_1 id_2 attr 0 1 2 B 1 2 3 C
✅ 优势总结：
- 真正向量化：避免 iterrows() 内部重复构造 DataFrame，利用 eq(..., axis=1) 直接完成广播比较；
- 内存友好：仅构建一次布尔掩码，无中间 DataFrame 拷贝；
- 逻辑清晰：每行规则独立表达，NaN 语义天然由 row.notna() 和列选择隔离，无需预填充或笛卡尔展开；
- 可扩展性强：支持任意数量匹配列（不限于 3 列），新增字段只需同步更新 remove_df 即可。
⚠️ 注意事项：
- remove_df 中若存在全 NaN 行，将匹配 target_df 所有行（即整表清空），建议提前校验：remove_df.dropna(how='all').shape[0] == remove_df.shape[0]；
- 字符串与数值类型需保持一致（如 '1' 与 1 不匹配），必要时统一类型（如 target_df.astype(str)）；
- 若 remove_df 规则数达数千行，可考虑分块处理（如每 100 行一组调用 reduce），但对数百条规则无需额外优化。
该方案兼顾可读性、健壮性与性能，是处理“带通配符的多列条件删除”任务的推荐实践。
