本文介绍一种使用 pandas 按 id 分组后，依据问题编码的层级结构（如 q02-1-1 是 q02-1 的子项、q02-1 又是 q02 的子项）自动剔除冗余父级条目的方法，保留最深层级的有效问题代码。
本文介绍一种使用 pandas 按 id 分组后，依据问题编码的层级结构（如 q02-1-1 是 q02-1 的子项、q02-1 又是 q02 的子项）自动剔除冗余父级条目的方法，保留最深层级的有效问题代码。
在问卷或表单数据处理中，常存在层级化的问题编码（如 Q01 → Q01-1 → Q01-1-1），其中子级编码隐含了对父级的回答依赖。为精简数据、避免信息重复，我们希望：在同一 ID 组内，若某条记录的 Question Code 是另一条记录的“前缀+连字符”形式（即存在更细粒度的子问题），则删除该较粗粒度的父级条目。
例如：
-
Q01-1存在 ⇒ 删除同组的Q01 -
Q02-1-1存在 ⇒ 删除Q02-1和Q02（但注意：仅当Q02未被更深层级完全覆盖时才需保留；本例中Q02-2仍需Q02作为逻辑根，但按题设规则，只要存在任意Q02-x形式，Q02即可被剔除——而实际需求是保留最深的叶子节点，同时不保留任何被其他行“严格前置包含”的行）
核心思路是：对每组内的 Question Code，提取其所有可能的“直接父级”（即去掉末尾一个 -xxx 部分），然后标记那些自身恰好等于某同行父级的记录为待删除项。
实现上，我们利用正则表达式 (.*)-[^-]+$ 匹配形如 Q02-1-1 → 提取 Q02-1，或 Q02-1 → 提取 Q02；再用 groupby('ID').transform 在每组内广播判断：若当前 Question Code 出现在本组提取出的所有父级集合中，则说明它是某个更深层级条目的“上级”，应被过滤掉。
import pandas as pd
df = pd.DataFrame({
'ID': [1,1,1,2,2,2,2,2],
'Question Code': ['Q01', 'Q01-1', 'Q02', 'Q01', 'Q02', 'Q02-1', 'Q02-1-1', 'Q02-2']
})
# 关键逻辑：识别并剔除被更深层级覆盖的父级编码
mask = df.groupby('ID')['Question Code'].transform(
lambda x: ~x.isin(
x.str.extract(r'^(.*)-[^-]+$', expand=False).dropna()
)
)
out = df[mask].reset_index(drop=True)
print(out)
输出结果为：
ID Question Code 0 1 Q01-1 1 1 Q02 2 2 Q01 3 2 Q02-1-1 4 2 Q02-2
✅ 注意事项：
- 正则
r'^(.*)-[^-]+$'确保只截取最后一个-及其后的非连字符部分（如Q02-1-1→Q02-1，而非Q02），符合层级逐级推导逻辑； -
.dropna()排除无法匹配的原始顶层编码（如Q01），避免isin报错； - 使用
~x.isin(...)实现“保留非父级”的语义，即仅当某码未出现在本组任一子码的父级集合中时才保留； - 该方法天然支持任意深度嵌套（
Qxx,Qxx-y,Qxx-y-z,Qxx-y-z-w…），无需预定义层级数。
最终效果是：每组内仅保留“叶子节点”问题编码——它们不再作为其他行的父级存在，从而达成数据最小化与语义无损的平衡。
