本文介绍如何将按组分散在多行中的动物数值数据（如 dog、cat、owl）高效聚合成每组一行的宽格式 dataframe，避免原始循环中重复创建空行的问题，并提供健壮、可扩展的解析逻辑。
本文介绍如何将按组分散在多行中的动物数值数据（如 dog、cat、owl）高效聚合成每组一行的宽格式 dataframe，避免原始循环中重复创建空行的问题，并提供健壮、可扩展的解析逻辑。
在处理从非结构化文本（如日志、报表或配置文件）提取的分组数据时，一个常见需求是：将同一逻辑组下的多条记录（如不同动物的指标）合并到 DataFrame 的单一行中。原始代码的问题在于——每次遇到 dog/cat/owl 行就立即 append 一条新记录，导致每个动物独占一行，而非同属一个 group 下的并列字段。
核心思路是：以“组”为单位构建字典，逐行填充字段，待组切换或文件结束时再统一提交整行。这比先生成冗余长表再用 groupby().first() 或 pivot() 后处理更高效、内存更友好，尤其适合流式解析大文件。
以下是优化后的完整实现：
import pandas as pd
data = """
Jan 2024
Group1 02/02/2024
dog 10 20
cat 21 32
Group2 05/02/2024
dog 23 45
cat 45 65
owl 24 12
monthly
Admin 02 22
clean 05 32
"""
extract = []
row = None # 当前正在构建的组行字典
for line in data.strip().splitlines():
line = line.strip()
if not line: # 跳过空行
continue
# 检测新组开始（如 "Group1", "Group2"）
if line.startswith("Group"):
# 若已有未提交的 row，先保存它
if row is not None:
extract.append(row)
# 初始化新组：提取组名（取首词），构建空字典
group_name = line.split()[0]
row = {"group": group_name}
# 解析动物行（dog/cat/owl），仅取第一个数值（val1）
elif line.startswith(("dog", "cat", "owl")):
parts = line.split()
if len(parts) >= 2:
animal, val1, *_ = parts # 解构：animal + 第一个值 + 其余忽略
if row is not None: # 确保已在某个组内
row[animal] = val1
# 文件结束，提交最后一个组
if row is not None:
extract.append(row)
# 构建 DataFrame，并固定列序（缺失动物自动填充 NaN）
df = pd.DataFrame(extract)[["group", "dog", "cat", "owl"]]
print(df)
输出结果：
group dog cat owl 0 Group1 10 21 NaN 1 Group2 23 45 24
✅ 关键改进点说明：
- 状态驱动设计：用 row 字典缓存当前组所有字段，避免“见一行、生一行”的错误模式；
- 健壮性增强：增加 strip()、空行跳过、len(parts) >= 2 安全检查，防止因格式异常导致崩溃；
- 可扩展性强：新增动物（如 fox）只需在 elif 条件中补充前缀，无需修改结构逻辑；
- 内存友好：不生成中间长表，直接产出目标宽表，适合处理千行级以上文本。
⚠️ 注意事项：
- 若某组缺少某个动物（如 Group1 无 owl），对应列将为 NaN —— 这是 Pandas 宽格式的自然行为，后续可用 fillna() 或 df['owl'].fillna(0) 统一补零；
- 若需保留第二数值（如 dog 10 20 中的 20），可扩展为 row[f"{animal}_score"] = val1 和 row[f"{animal}_count"] = val2；
- 对于更复杂嵌套结构（如多级子组），建议改用正则预解析或 itertools.groupby 配合自定义键函数。
该方法兼顾简洁性与工程鲁棒性，是文本结构化场景下的推荐实践。
