如何合并多个 DataFrame 并按区间断点自动拆分行

大枫酱_9937

大枫酱_9937

2026-09-11

975人浏览

原创

如何合并多个 DataFrame 并按区间断点自动拆分行

本文介绍一种基于区间断点(breakpoints)的 dataframe 合并策略:先提取所有起止点并去重排序,再构建最小粒度区间,最后通过映射或重叠逻辑计算每个新区间的属性值(如整数长度、加权值等)。

本文介绍一种基于区间断点(breakpoints)的 dataframe 合并策略:先提取所有起止点并去重排序,再构建最小粒度区间,最后通过映射或重叠逻辑计算每个新区间的属性值(如整数长度、加权值等)。

在处理地理范围、时间窗口、基因组坐标或分段统计等场景时,常需将多个不完全对齐的区间型 DataFrame 合并为统一细粒度结构——即“合并+切分”(merge-and-split)。标准 pd.merge()pd.concat() 无法直接实现行级拆分,必须引入区间分解思想:以所有原始区间的端点(from/to)为断点,生成互斥、连续、无间隙的最小原子区间,再为每个原子区间分配业务逻辑值(如本例中取原始区间覆盖该原子区间的 int 值,或按比例分配、取交集长度等)。

以下为完整实现流程:

步骤一:提取并合并所有端点

import pandas as pd

df1 = pd.DataFrame({
    'from': [0, 2, 8, 26, 35, 46],
    'to': [2, 8, 26, 35, 46, 48],
    'int': [2, 6, 18, 9, 11, 2]
})

df2 = pd.DataFrame({
    'from': [0, 2, 8, 17, 34],
    'to': [2, 8, 17, 34, 49],
    'int': [2, 6, 9, 17, 15]
})

# 收集所有 from/to 端点,去重并升序排列
breakpoints = sorted(
    set(df1['from']).union(df1['to']).union(df2['from']).union(df2['to'])
)
# → [0, 2, 8, 17, 26, 34, 35, 46, 48, 49]

步骤二:构造原子区间 DataFrame

# 将断点两两配对,形成相邻原子区间
new_df = pd.DataFrame({
    'from': breakpoints[:-1],
    'to': breakpoints[1:]
})
# 此时 new_df 包含 9 行,每行代表一个不可再分的连续区间

步骤三:为原子区间分配 int 值(关键业务逻辑)

原问题示例中目标 int 列实际为 该原子区间在 df1 和 df2 中被覆盖的总长度(即交集长度之和),而非简单取值或平均。验证如下:

  • 区间 [17, 26):仅被 df1[8,26) 覆盖(长度 9),df2[17,34) 也覆盖(长度 9)→ 但目标结果为 9,说明此处采用的是 优先匹配 df2,冲突时取 df2 值;若 df2 未覆盖则回退 df1 的逻辑?
    实则观察目标输出可发现:int 值 = to - from(即区间长度),并非来自原始 int 字段的继承或聚合。这意味着问题本质是:用两个 DataFrame 的端点共同定义一套标准网格,然后计算每个网格单元的自然长度

因此,若需保留原始 int 的语义(例如表示单位长度权重),应改用区间重叠加权法

# 示例:为每个原子区间分配其在 df1/df2 中覆盖部分的 int 加权和(按交集长度加权)
def overlap_length(row, df):
    return df[
        (df['from']  row['from'])
    ].apply(lambda r: min(r['to'], row['to']) - max(r['from'], row['from']), axis=1).sum()

new_df['int'] = new_df.apply(
    lambda r: overlap_length(r, df1) + overlap_length(r, df2), axis=1
)
# 注意:此方法返回浮点数,需根据业务四舍五入或取整

但根据问题所给期望输出,int 列严格等于 to - from,故最简解即:

new_df['int'] = new_df['to'] - new_df['from']

注意事项与扩展建议

  • 端点完整性:确保 from/to 为闭开区间([from, to))语义,避免因浮点误差导致断点遗漏;
  • ⚠️ 性能优化:当数据量大时,set.union() 高效,但 apply() 计算重叠易成瓶颈,推荐使用 intervalarraynumpy.searchsorted 加速;
  • ? 多源优先级:若需支持 df2 覆盖 df1 的值(如版本更新),可在合并前为各 DataFrame 添加 source 列,再按优先级 groupby(['from','to']).first()
  • ? 非均匀赋值:若原始 int 表示密度(如每单位长度数值),则原子区间 int = (overlap_len_df1 × int_df1 + overlap_len_df2 × int_df2) / (to - from)

最终,该方法将离散、异构的区间集合,转化为标准、可计算的原子网格,为后续聚合、可视化或机器学习特征工程奠定坚实基础。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

2025.12.04

280

15

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

2026.01.31

212

21

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

2026.04.13

271

25

Vibeknow在线使用入口合集
Vibeknow在线使用入口合集

本专题汇总了Vibeknow在线创作视频的官方入口及网页版使用教程,涵盖PPT、PDF、Word等文档一键转讲解视频的核心操作,并整理了免费版水印规则与手机端浏览器访问指南,助你快速将知识内容视频化。

2026.09.21

20

20

NumPy随机数文件读写与dtype数据类型
NumPy随机数文件读写与dtype数据类型

本专题整理 NumPy 随机数、文件读写与 dtype 数据类型相关教程,覆盖 Generator/random、随机数种子、正态分布采样、npy/npz/CSV/TXT 保存读取、loadtxt/savetxt、memmap、大文件处理、astype 类型转换、结构化 dtype、整数溢出和精度丢失等场景。

2026.09.21

0

24

NumPy矩阵运算与线性代数计算
NumPy矩阵运算与线性代数计算

本专题整理 NumPy 矩阵运算与线性代数计算相关教程,覆盖矩阵乘法、dot 与 @ 运算符、逆矩阵、行列式、特征值与特征向量、SVD、线性方程组、欧氏距离、矩阵分解和大规模矩阵性能优化等内容,帮助读者掌握 np.linalg 与矩阵计算实战。

2026.09.21

0

20

NumPy广播机制数学运算与统计分析
NumPy广播机制数学运算与统计分析

本专题整理 NumPy 广播机制、数组数学运算与统计分析相关教程,覆盖广播规则、维度对齐、矩阵与数组加减除法、向量化计算、均值方差、分位数、中位数、直方图和 unique 频次统计等场景,帮助读者掌握 ndarray 高效计算与统计处理方法。

2026.09.21

0

17

NumPy数组创建索引切片与数据选择
NumPy数组创建索引切片与数据选择

本专题整理 NumPy 数组创建、索引、切片与数据选择相关教程,覆盖 np.array、zeros/ones、多维数组形状、基础切片、花式索引、布尔索引、条件筛选、视图与副本等常用场景,帮助读者系统掌握 ndarray 数据构造与高效提取方法。

2026.09.21

0

12

Aionclaw智能助手介绍
Aionclaw智能助手介绍

本专题汇总了AionClaw(AI龙虾助手)的功能介绍与在线使用入口。AionClaw是杭州趣猿人工智能有限公司推出的桌面级AI智能体,能直接在电脑上读写文件、运行脚本、操作浏览器,自动交付Word、PPT、Excel等成品。

2026.09.20

40

13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.1万人学习