如何在 Pandas 中按分组条件(Quality 标志)设置最小/最大值

星萱同学_7100

星萱同学_7100

2026-07-20

709人浏览

原创

如何在 Pandas 中按分组条件(Quality 标志)设置最小/最大值

本文详解如何基于 Quality_Start 和 Quality_End 布尔标志,对 DataFrame 中的 Abs_s 和 Abs_e 列分别按 Part/Rel_s 和 Part/Rel_e 分组取条件最小值与最大值,并妥善处理缺失或全无效质量标记的情况。

本文详解如何基于 `quality_start` 和 `quality_end` 布尔标志,对 dataframe 中的 `abs_s` 和 `abs_e` 列分别按 `part/rel_s` 和 `part/rel_e` 分组取条件最小值与最大值,并妥善处理缺失或全无效质量标记的情况。

在实际数据分析中,我们常需在分组聚合时引入业务逻辑过滤——例如仅使用“高质量”样本计算统计量,同时保留低质量行的原始值。Pandas 提供了灵活且高效的解决方案:先用 .where() 筛选有效值(将不满足条件的设为 NaN),再在分组内执行 transform('min') 或 transform('max')。该方法既保持向量化性能,又语义清晰、易于维护。

✅ 核心实现步骤

  1. 条件掩码替换:使用 Series.where(condition) 将 Quality_Start == False 对应的 Abs_s 设为 NaN,同理处理 Abs_e;
  2. 分组聚合:基于目标分组键(如 ["Part", "Rel_s"])对已掩码的列进行 transform('min');
  3. 类型兼容性处理:若需保留整数类型,可使用 Int64(支持 NaN 的 nullable 整型)替代默认浮点型。

以下为完整可运行示例:

import pandas as pd

# 构造示例数据
lst = [['PF2', 'E1', -500, -127, 199971, 200164, True, True], 
       ['PR2', 'E1', -500, -167, 199655, 200124, True, True],
       ['PF2', 'E1', -500, -167, 199645, 200124, False, True],
       ['PF2', 'E1', -400, -127, 199971, 200564, True, True], 
       ['PR2', 'E1', -400, -167, 199155, 200324, True, True]]

df = pd.DataFrame(lst, columns=["Name", "Part", "Rel_s", "Rel_e", "Abs_s", "Abs_e", "Quality_Start", "Quality_End"])

# ✅ 关键操作:带质量筛选的分组最小/最大值填充
g = df.assign(
    Abs_s_t=df['Abs_s'].where(df['Quality_Start']).astype('Int64'),
    Abs_e_t=df['Abs_e'].where(df['Quality_End']).astype('Int64')
).groupby(["Part", "Rel_s"])

df['Abs_s'] = g['Abs_s_t'].transform('min')
df['Abs_e'] = g['Abs_e_t'].transform('max')

print(df)

输出结果:

  Name Part  Rel_s  Rel_e   Abs_s   Abs_e  Quality_Start  Quality_End
0  PF2   E1   -500   -127  199655  200164           True         True
1  PR2   E1   -500   -167  199655  200164           True         True
2  PF2   E1   -500   -167  199655  200164          False         True
3  PF2   E1   -400   -127  199155  200564           True         True
4  PR2   E1   -400   -167  199155  200564           True         True

? 注意:Abs_s 在 Part='E1' & Rel_s=-500 组中,仅 Index=1(PR2 行)的 Quality_Start=True 且 Abs_s=199655,因此所有该组成员均被赋值为 199655(而非无条件最小值 199645);Abs_e 同理按 Quality_End 筛选后取最大值。

Pandas Linux版 2.3.3
Pandas Linux版 2.3.3

Pandas 2.3.3 历史版本下载,来自 PyPI 官方发布,适合旧项目兼容、数据分析脚本复现和指定环境安装。

下载

⚠️ 边界情况处理建议

  • 全组无有效质量标记:若某分组内所有 Quality_Start 均为 False,则 transform('min') 返回 (Int64)或 NaN(float)。如需 fallback 到原始值,可链式调用 .fillna(df['Abs_s']);
  • 混合类型安全:避免直接对含 NaN 的 int 列操作(会自动转为 float64),优先选用 Int64、boolean 等 nullable 类型;
  • 分组键一致性:注意 Abs_s 按 ["Part", "Rel_s"] 分组,而 Abs_e 应按 ["Part", "Rel_e"] 分组(原文案中误写为相同键,已修正)。

? 进阶:fallback 到无条件统计量

当某组无合格样本时,可回退至全样本最小值:

# 若条件 min 为 <na>,则使用该组无条件 min
df['Abs_s_fallback'] = (
    g['Abs_s_t'].transform('min')
    .fillna(g['Abs_s'].transform('min'))
)</na>

此模式兼顾业务严谨性与数据鲁棒性,是生产环境推荐实践。

综上,通过 where() + groupby().transform() 的组合,我们以声明式、高性能的方式实现了带条件约束的分组赋值,无需循环或 apply,代码简洁且易于扩展至多条件、多列场景。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1651

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4044

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1649

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

23297

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2867

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2887

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1143

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2243

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Pandas 官方文档与用户指南
Pandas 官方文档与用户指南

共0课时 | 0人学习

Pandas 教程
Pandas 教程

共15课时 | 1.9万人学习