本文介绍使用正则表达式与上下文记忆机制，从非规范化的 section_name 中精准提取 section_id，并对无编号条目（如 "synopsis"）实现基于历史匹配的智能回填。
本文介绍使用正则表达式与上下文记忆机制，从非规范化的 section_name 中精准提取 section_id，并对无编号条目（如 "synopsis"）实现基于历史匹配的智能回填。
在处理文档结构化数据（如测试用例、章节大纲、SOP 条款）时，常遇到 section_name 列混合了带编号（如 "1.3.1.Test Period I - Screening13"）和纯标题（如 "Synopsis"）的文本，且存在空值或空白行。目标是生成语义一致的 section_id 列：对含编号项提取前缀（如 "1.3.1"），对无编号项则匹配其所属的最近有效编号——这要求算法兼具模式识别能力与上下文关联能力。
核心思路：正则提取 + 历史映射表
我们不依赖逐行状态传递（易出错），而是构建一个动态字典 prev_ids，用于记录每个“编号+标题”组合中剥离编号后的标题部分（即 sec_name.strip()）与其对应 sec_id 的映射关系。后续遇到纯标题时，通过子串匹配（in）快速回溯归属。
✅ 正确实现（推荐）
import pandas as pd
import numpy as np
import re
# 示例数据（含空值、None、空白字符串）
data = {
'section_name': [
'1.Test Summary9',
'1.1.Synopsis9',
'1.2.Schema12',
'1.3.1.Test Period I - Screening13',
'1.3.2.Period II - obes-Treatment 15',
'Synopsis',
'Test Period I - Screening',
None,
''
]
}
df = pd.DataFrame(data)
def extract_section_id(row, id_map):
name = row['section_name']
# 跳过 None、NaN、空字符串或纯空白
if pd.isna(name) or str(name).strip() == '':
return '' # 或返回 np.nan，按需选择
name_str = str(name).strip()
# 正则匹配：捕获连续的数字+点号组合（支持 1、1.1、1.3.1 等）
match = re.match(r'^(\d+(?:\.\d+)*)\.(.*)$', name_str)
if match:
sec_id, title_part = match.groups()
# 将标题部分（去空格）作为 key，映射到当前编号
id_map[title_part.strip()] = sec_id
return sec_id
else:
# 非编号格式：尝试在历史标题中查找是否为子串（如 "Synopsis" in "1.1.Synopsis9" → True）
for full_title, sec_id in id_map.items():
if name_str in full_title or full_title in name_str:
return sec_id
return '' # 未匹配到，返回空（或 np.nan）
# 初始化映射字典
id_mapping = {}
df['section_id'] = df.apply(lambda r: extract_section_id(r, id_mapping), axis=1)
? 关键细节说明：
-
正则 r'^(\d+(?:\.\d+)*)\.(.*)$'：
^ 和 $ 确保从头匹配；(\d+(?:\.\d+)*) 捕获编号（支持多级，如 1、1.1、1.3.1）；\. 匹配字面量点号；(.*) 捕获剩余标题内容。 -
智能回填逻辑：
使用 name_str in full_title（而非严格相等），可覆盖 "Synopsis" 匹配 "1.1.Synopsis9"、"Test Period I - Screening" 匹配 "1.3.1.Test Period I - Screening13" 等场景。 -
空值处理统一：
对 None、np.nan、空字符串均返回 ''（也可统一设为 np.nan，保持 dtype 一致性）。
⚠️ 注意事项：
- 若存在歧义匹配（如 "A" 同时出现在 "1.A" 和 "2.AB" 中），当前逻辑会返回最先注册的 sec_id。如需更精确匹配（如全词匹配），可改用 re.search(rf'\b{name_str}\b', full_title)。
- 该方法假设数据顺序有意义（即编号条目先于其对应的纯标题出现）。若顺序混乱，需先按业务逻辑排序（如按原始索引或辅助序号）。
- 性能提示：对超大数据集（>10⁵ 行），可预编译正则对象并改用 df['section_name'].str.extract() 批量处理编号行，再用 map() 回填纯标题。
运行后，df 输出如下：
section_name section_id 0 1.Test Summary9 1 1 1.1.Synopsis9 1.1 2 1.2.Schema12 1.2 3 1.3.1.Test Period I - Screening13 1.3.1 4 1.3.2.Period II - obes-Treatment 15 1.3.2 5 Synopsis 1.1 6 Test Period I - Screening 1.3.1 7 None 8
此方案鲁棒性强、逻辑清晰，适用于真实业务中常见的半结构化文本解析任务。
