本文介绍一种无需预知分组数量、长度或位置的自动化方法，利用列值偏离基准值的模式识别变化段，将 dataframe 精确拆分为多个“单变量变化”子数据集。
本文介绍一种无需预知分组数量、长度或位置的自动化方法，利用列值偏离基准值的模式识别变化段，将 dataframe 精确拆分为多个“单变量变化”子数据集。
在实验性或参数扫描类数据分析中，常遇到类似这样的结构化 DataFrame：多列中仅一列在连续行内发生系统性变化，其余列保持基准值不变（如 A 列从 0.5 递增至 2.5，B/C 固定；随后 B 变化而 A/C 固定；最后 C 变化而 A/B 固定）。目标是自动识别这些“变化段”，并按变化主变量聚类为独立子 DataFrame——且不依赖人工指定起止行号、段数或每段长度。
关键挑战在于：变化是时序局部的、单列主导的、且段间无显式分隔符。groupby() 常用于按固定键聚合，但此处“键”是动态的——即“哪一列正在变化”。解决方案的核心思想是：构造一个逻辑标识序列，标记每一行中“首个偏离基准值的列名”，再以此为分组依据。
以下为完整实现（假设已知各列基准值）：
import pandas as pd
# 示例数据（与问题一致，含15行）
df = pd.DataFrame({
'A': [0.5, 1.0, 1.5, 2.0, 2.5, 1.5, 1.5, 1.5, 1.5, 1.5, 1.5, 1.5, 1.5, 1.5, 1.5],
'B': [10, 10, 10, 10, 10, 8, 9, 10, 11, 12, 10, 10, 10, 10, 10],
'C': [100, 100, 100, 100, 100, 100, 100, 100, 100, 100, 60, 80, 100, 120, 140]
})
# 定义各列基准值（需根据实际业务确定）
baseline = {'A': 1.5, 'B': 10, 'C': 100}
# 步骤1：生成布尔矩阵 —— 每行每列是否偏离基准
deviations = df[list(baseline.keys())].ne(baseline)
# 步骤2：对每行，找出第一个为 True 的列名（即该行变化的主变量）
# 若全为 False（理论上不应出现），返回 None
changing_col = deviations.idxmax(axis=1).where(deviations.any(axis=1))
# 步骤3：使用 changing_col 作为 groupby 键，自动分组
sub_dfs = {name: group.reset_index(drop=True)
for name, group in df.groupby(changing_col, dropna=False)}
# 输出结果
for col_name, sub_df in sub_dfs.items():
print(f"\n--- 子数据集（{col_name} 变化）---")
print(sub_df)
✅ 输出效果：
- sub_dfs['A'] 包含第 1–5 行（A 从 0.5→2.5，B/C 恒为 10/100）
- sub_dfs['B'] 包含第 6–10 行（B 从 8→12，A/C 恒为 1.5/100）
- sub_dfs['C'] 包含第 11–15 行（C 从 60→140，A/B 恒为 1.5/10）
⚠️ 重要注意事项：
- 基准值必须准确：baseline 字典需真实反映“不变量”。若存在测量误差，可改用 abs(df[col] - baseline[col]) > tolerance 替代 .ne()。
- 单变量变化假设：本方法严格要求每行至多一列显著偏离基准。若多列同时变化（如 A 和 B 同步变动），idxmax() 将仅捕获首个，导致分组错误。此时需结合领域知识预处理，或改用差分检测（如 df.diff().abs().sum(axis=1) > threshold 辅助定位变化区间）。
- 列选择灵活性：df[list(baseline.keys())] 明确限定检测范围，避免无关列干扰；若列名未知，可用 df.select_dtypes(include='number') 自动筛选数值列。
- 鲁棒性增强：对缺失基准值的场景，可先用 df.mode().iloc[0] 估算众数作为初始 baseline，再迭代优化。
该方案兼具简洁性与工程实用性，无需聚类或复杂模型，仅依赖 Pandas 原生操作，即可实现完全自动化的结构化解析——特别适合批量处理参数扫描日志、传感器校准记录或仿真试验数据。
