本文介绍如何将按组分散在多行中的结构化数据（如动物数值）合并为每组一行的宽格式 dataframe，避免逐行追加导致的重复行问题，并提供健壮、可扩展的解析逻辑。
本文介绍如何将按组分散在多行中的结构化数据（如动物数值）合并为每组一行的宽格式 dataframe，避免逐行追加导致的重复行问题，并提供健壮、可扩展的解析逻辑。
在处理从文本日志、配置文件或爬虫输出中提取的分组数据时，常见模式是：每个组以 GroupX 开头，随后若干行以动物名（如 dog、cat、owl）为前缀携带数值。若直接按行遍历并立即追加字典到列表，会导致每个动物单独占一行（即长格式），而实际需求通常是每组一行、各动物作为独立列（即宽格式）。核心挑战在于：如何在遍历过程中动态聚合同一组内的多个键值对，并在组切换或结束时统一提交为一行。
解决的关键在于状态管理：使用一个可复用的字典 row 作为当前组的“暂存容器”，并在组变更或循环结束时将其提交。相比原始代码中每次匹配动物就新建字典并 append，该策略确保每组仅生成一条记录。
以下是优化后的完整实现：
import pandas as pd
data = """
Jan 2024
Group1 02/02/2024
dog 10 20
cat 21 32
Group2 05/02/2024
dog 23 45
cat 45 65
owl 24 12
monthly
Admin 02 22
clean 05 32
"""
extract = []
row = None # 当前组的数据容器，初始为空
for line in data.splitlines():
line = line.strip()
if not line: # 跳过空行
continue
# 检测新组开始
if line.startswith('Group'):
# 若已有正在构建的组，先保存它
if row is not None:
extract.append(row)
# 初始化新组：提取组名（取首词），创建新字典
group_name = line.split()[0]
row = {'group': group_name}
# 解析动物行（需确保在组定义之后）
elif row is not None and any(line.startswith(animal) for animal in ['dog', 'cat', 'owl']):
parts = line.split()
if len(parts) >= 2:
animal, value1, *_ = parts # 只取第一个数值（如 'dog 10 20' → '10'）
row[animal] = value1
# 循环结束后，别忘了添加最后一个组
if row is not None:
extract.append(row)
# 构建 DataFrame 并规范列序
df = pd.DataFrame(extract)
df = df.reindex(columns=['group', 'dog', 'cat', 'owl'])
print(df)
输出结果：
group dog cat owl 0 Group1 10 21 NaN 1 Group2 23 45 24
✅ 优势说明：
- 逻辑清晰：row 字典生命周期与组严格绑定，避免状态错乱；
- 健壮性强：自动跳过空行、忽略非目标行（如 Jan 2024、monthly），且对缺失动物（如 Group1 无 owl）天然支持 NaN 填充；
- 易于扩展：只需在 any(...) 和解构逻辑中增删动物名，即可适配新类型；
- 性能友好：单次遍历完成聚合，时间复杂度 O(n)，远优于多次 groupby().agg() 后再 pivot 的方案（尤其对大文本）。
⚠️ 注意事项：
- 确保 GroupX 行一定出现在对应动物行之前，否则 row is None 保护会跳过解析；
- 若存在重复动物（如两个 dog 行），后出现的值将覆盖前者——如需累加或保留全部，需改用 list 类型字段并 .append()；
- 数值列默认为字符串，如需计算，请在构建 DataFrame 后调用 df[['dog','cat','owl']] = df[['dog','cat','owl']].apply(pd.to_numeric, errors='coerce')。
此方法兼顾可读性、鲁棒性与性能，是处理此类半结构化文本转宽表的标准实践。
