本文介绍两种高性能方法，利用 pyjanitor.conditional_join 或 pandas.IntervalIndex 实现基于多区间条件（col1 ∈ [a,b] 且 col2 ∈ [c,d]）的列映射，避免显式循环，显著提升大数据量下的执行效率。
本文介绍两种高性能方法，利用 `pyjanitor.conditional_join` 或 `pandas.intervalindex` 实现基于多区间条件（col1 ∈ [a,b] 且 col2 ∈ [c,d]）的列映射，避免显式循环，显著提升大数据量下的执行效率。
在 Pandas 中，当需要根据多个数值区间的组合规则为 DataFrame 添加新列时（例如：若 col1 落在某元组前两个值构成的闭区间内，且 col2 同时落在后两个值构成的闭区间内，则取该元组第五个值），直接使用 apply + 循环会严重拖慢性能。以下是两种推荐的向量化、可扩展解决方案：
✅ 方法一：使用 pyjanitor.conditional_join（推荐用于中大型数据）
conditional_join 是专为高效区间/范围连接设计的工具，语法清晰、性能优异，尤其适合多条件区间匹配。
# 安装：pip install pyjanitor
import pandas as pd
import janitor
ls = [(1, 2, 10, 20, 5),
(3, 4, 30, 40, 10),
(5, 6, 50, 60, 20)]
df_ = pd.DataFrame({
'col1': [1.1, 3.5, 5.4, 4.1],
'col2': [11, 35, 44, 41]
})
# 构建规则表：将元组转为 DataFrame，并重命名第5列（索引4）为'result'
rules_df = (pd.DataFrame(ls)
.rename(columns={4: 'result'})
.astype({
0: df_['col1'].dtype, # 左边界（col1下限）
1: df_['col1'].dtype, # 右边界（col1上限）
2: df_['col2'].dtype, # col2下限
3: df_['col2'].dtype # col2上限
})
)
# 执行条件连接：col1 ∈ [0,1] 且 col2 ∈ [2,3]
out = df_.conditional_join(
rules_df,
('col1', 0, '>='), ('col1', 1, '='), ('col2', 3, '<blockquote><p>✅ 优势：语义明确、支持任意比较运算符（>=, 等）、自动处理重复/重叠区间、内存友好。</p><div class="aritcle_card flexRow artxards">
<div class="artcardd flexRow">
<a class="aritcle_card_img" rel="nofollow" href="/xiazai/gongju/2777" title="Pandas Linux版 2.3.3"><img
src="https://img.php.cn/upload/manual/000/969/633/6aa7a00e2d6c8516.png" alt="Pandas Linux版 2.3.3" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a rel="nofollow" href="/xiazai/gongju/2777" title="Pandas Linux版 2.3.3" class="overflowclass">Pandas Linux版 2.3.3</a>
<p class="overflowclass">Pandas 2.3.3 历史版本下载，来自 PyPI 官方发布，适合旧项目兼容、数据分析脚本复现和指定环境安装。</p>
</div>
<a rel="nofollow" href="/xiazai/gongju/2777" title="Pandas Linux版 2.3.3" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
</a>
</div>
</div></blockquote><h3>✅ 方法二：基于 IntervalIndex 的 MultiIndex 映射（轻量级，纯 Pandas）</h3><p>适用于规则数量适中、需极致依赖原生 Pandas 的场景。核心思想是将二维区间 (col1_range, col2_range) 编码为 MultiIndex，再通过 reindex 实现 O(1) 查找。</p><pre class="brush:php;toolbar:false;">import pandas as pd
import numpy as np
ls = [(1, 2, 10, 20, 5),
(3, 4, 30, 40, 10),
(5, 6, 50, 60, 20)]
df_ = pd.DataFrame({
'col1': [1.1, 3.5, 5.4, 4.1],
'col2': [11, 35, 44, 41]
})
a = np.array(ls).T # 转置 → shape: (5, n)
# 构建双层区间索引：(col1_interval, col2_interval)
idx = pd.MultiIndex.from_arrays([
pd.IntervalIndex.from_arrays(a[0], a[1], closed='both'), # col1 ∈ [a0, a1]
pd.IntervalIndex.from_arrays(a[2], a[3], closed='both') # col2 ∈ [a2, a3]
])
# 创建映射 Series：索引为区间对，值为结果（a[4]）
mapping = pd.Series(a[4], index=idx)
# 按 df_ 中每行 (col1, col2) 查找对应区间 → 返回 result 或 NaN
df_['result'] = mapping.reindex(zip(df_['col1'], df_['col2'])).values
print(df_)⚠️ 注意事项：
- IntervalIndex 默认 closed='right'，务必设为 'both' 以匹配题目中“between”即闭区间语义；
- zip(df_['col1'], df_['col2']) 生成坐标元组，必须与 MultiIndex 的层级顺序严格一致；
- 若存在重叠区间，reindex 返回首个匹配值（非全部），如需多匹配请改用 conditional_join。
? 总结
| 方法 | 适用场景 | 依赖 | 区间重叠处理 | 学习成本 |
|---|---|---|---|---|
| conditional_join | 中大型数据、复杂条件、生产环境 | pyjanitor | 支持（返回首匹配） | ★★☆ |
| IntervalIndex + MultiIndex | 小到中等规则集、无外部依赖 | 纯 Pandas | 首匹配（默认） | ★★★ |
无论选择哪种方式，都应避免 df_.apply(lambda x: ...) 嵌套循环——在万行以上数据中，性能差距可达 10–100 倍。实际应用中建议优先尝试 conditional_join，其 API 更直观、鲁棒性更强，且持续活跃维护。
