Pandas数据分析:高效计算指定百分位范围内的列均值

风杰吖_3021

风杰吖_3021

2025-10-29

1061人浏览

原创

Pandas数据分析:高效计算指定百分位范围内的列均值

本文详细介绍了如何在pandas dataframe中高效地计算每个列在指定百分位(如20%到80%)范围内的均值。针对直接使用`numpy.quantile`进行条件筛选可能遇到的类型错误,文章提出并详细阐述了利用`dataframe.rank(pct=true)`方法结合布尔索引进行数据过滤的专业解决方案,并通过实例代码展示了其简洁性和有效性,旨在帮助读者掌握处理此类数据统计问题的实用技巧。

在数据分析中,我们经常需要对数据进行统计分析,但有时会遇到需要排除极端值或仅关注特定分布范围内数据的情况。例如,计算每个列在20%到80%百分位范围内的均值,可以有效避免异常值对统计结果的干扰。

问题场景与常见误区

假设我们有一个Pandas DataFrame,包含多列数值数据。我们的目标是为每一列计算其值落在指定百分位范围(例如,第20百分位到第80百分位之间)内的均值。

一个常见的直观想法是首先使用numpy.quantile计算出每列的上下百分位阈值,然后尝试直接用这些阈值对DataFrame进行布尔索引筛选。以下是一个示例及其可能遇到的问题:

import pandas as pd
import numpy as np

# 示例DataFrame
df = pd.DataFrame({
    "A": [1, 1, 20, 2, 2, 3, 50, 7, 8, 15, 20, 35, 50, 70],
    "B": [10, 100, 20, 20, 200, 30, 50, 70, 80, 150, 200, 350, 500, 700]
})
print("原始DataFrame:")
print(df)

# 计算每列的20%和80%百分位阈值
q20 = np.quantile(df, 0.2, axis=0)
q80 = np.quantile(df, 0.8, axis=0)

print(f"\n每列的20%百分位阈值: {q20}") # 例如:A列2.0, B列26.0
print(f"每列的80%百分位阈值: {q80}") # 例如:A列41.0, B列260.0

# 尝试直接使用阈值进行筛选(这将导致TypeError)
try:
    mask = (df > q20) & (df <p>当尝试执行 (df > q20) & (df </p><h3>使用 DataFrame.rank(pct=True) 的专业解决方案</h3><p>解决上述问题的关键在于将DataFrame中的每个数值转换为其对应的百分位排名。Pandas的 DataFrame.rank(pct=True) 方法正是为此而生。</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/learn/7564" title="使用Go语言搭建家庭相册系统-相关课件"><img
														src="https://img.php.cn/upload/webcode/000/000/164/636a2b4d84031727.png" alt="使用Go语言搭建家庭相册系统-相关课件" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/learn/7564" title="使用Go语言搭建家庭相册系统-相关课件" class="overflowclass">使用Go语言搭建家庭相册系统-相关课件</a>
													<p class="overflowclass">使用Go语言搭建家庭相册系统-相关课件</p>
												</div>
												<a rel="nofollow" href="/xiazai/learn/7564" title="使用Go语言搭建家庭相册系统-相关课件" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div><p>df.rank(pct=True) 会计算DataFrame中每个值的百分位排名(即该值在列中的相对位置,介于0到1之间)。这样,我们就可以直接将这些百分位排名与我们希望的百分位范围(如0.2到0.8)进行比较,从而生成一个布尔掩码来筛选数据。</p><h4>解决方案步骤:</h4><ol>
<li>
<strong>计算百分位排名:</strong> 使用 df.rank(pct=True) 获取DataFrame中每个元素的百分位排名。</li>
<li>
<strong>创建布尔掩码:</strong> 将百分位排名与目标范围(例如,0.2 到 0.8)进行比较,生成一个布尔型DataFrame作为筛选掩码。</li>
<li>
<strong>应用掩码并计算均值:</strong> 将生成的掩码应用于原始DataFrame,然后对筛选后的数据计算每列的均值。</li>
</ol><h4>示例代码:</h4><pre class="brush:php;toolbar:false;">import pandas as pd
import numpy as np

# 示例DataFrame
df = pd.DataFrame({
    "A": [1, 1, 20, 2, 2, 3, 50, 7, 8, 15, 20, 35, 50, 70],
    "B": [10, 100, 20, 20, 200, 30, 50, 70, 80, 150, 200, 350, 500, 700]
})

# 1. 计算每个值的百分位排名
# df.rank(pct=True) 将DataFrame中的每个数值转换为其在对应列中的百分位排名(0到1之间)
df_ranked_pct = df.rank(pct=True)
print("\nDataFrame中每个值的百分位排名:")
print(df_ranked_pct)

# 2. 创建布尔掩码
# 筛选出排名在20%到80%之间的值
# .ge(0.2) 表示大于等于0.2
# .le(0.8) 表示小于等于0.8
mask = df_ranked_pct.ge(0.2) & df_ranked_pct.le(0.8)
print("\n筛选20%-80%百分位范围的布尔掩码:")
print(mask)

# 3. 应用掩码并计算均值
# 使用布尔掩码对原始DataFrame进行筛选
# 然后对筛选后的结果计算每列的均值
# 注意:未通过筛选的值将变为NaN,计算均值时会自动忽略NaN
out = df[mask].mean()

print("\n每列在20%-80%百分位范围内的均值:")
print(out)

输出结果:

原始DataFrame:
    A    B
0   1   10
1   1  100
2  20   20
3   2   20
4   2  200
5   3   30
6  50   50
7   7   70
8   8   80
9  15  150
10 20  200
11 35  350
12 50  500
13 70   70

每列的20%百分位阈值: [ 2. 26.]
每列的80%百分位阈值: [ 41. 260.]

尝试直接筛选时捕获到错误: Cannot compare a Categorical for op __gt__ with type <class>.
If you want to compare values, use 'np.asarray(cat) <op> other'.
错误原因:Pandas DataFrame与NumPy数组进行比较时,如果形状不完全匹配或无法广播,可能导致类型错误。
这里的q20和q80是形状为(n,)的NumPy数组,而df是DataFrame,直接比较会引发问题。

DataFrame中每个值的百分位排名:
        A         B
0    0.071429  0.071429
1    0.071429  0.357143
2    0.785714  0.178571
3    0.285714  0.178571
4    0.285714  0.785714
5    0.500000  0.285714
6    0.928571  0.357143
7    0.571429  0.428571
8    0.642857  0.500000
9    0.714286  0.642857
10   0.785714  0.785714
11   0.857143  0.857143
12   0.928571  0.928571
13   1.000000  0.428571

筛选20%-80%百分位范围的布尔掩码:
        A      B
0   False  False
1   False   True
2    True  False
3    True  False
4    True   True
5    True   True
6   False   True
7    True   True
8    True   True
9    True   True
10   True   True
11  False  False
12  False  False
13  False   True

每列在20%-80%百分位范围内的均值:
A     12.444444
B    110.000000
dtype: float64</op></class>

注意事项与总结

  1. rank(pct=True) 的工作原理: df.rank(pct=True) 会对DataFrame中的每一列独立进行排名,并将排名结果转换为0到1之间的百分比值。这意味着每个数值都与其所在列的整体分布相关联,而不是与一个全局的百分位阈值进行比较。
  2. 处理重复值: rank 方法在处理重复值时有多种策略(如method='average'、'min'、'max'等,默认为'average')。pct=True 会基于这些排名策略计算百分比。在大多数情况下,默认的'average'是合适的。
  3. 灵活性: 这种方法非常灵活,你可以轻松修改百分位范围,例如计算10%-90%或5%-95%范围内的均值,只需调整 .ge() 和 .le() 中的阈值即可。
  4. NaN值处理: 当布尔掩码应用于DataFrame时,不满足条件的值会被替换为 NaN。df.mean() 方法在计算均值时会自动跳过 NaN 值,这正是我们想要的行为。如果需要包含 NaN 值或以其他方式处理它们,可能需要额外的步骤。

通过利用 DataFrame.rank(pct=True),我们能够以一种简洁、高效且避免类型错误的方式,精确地筛选出指定百分位范围内的数据,并进行后续的统计分析。这在处理包含异常值或需要聚焦于数据核心分布的场景中尤其有用。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

2025.12.04

360

15

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

2026.01.31

292

21

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

2026.04.13

991

25

Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

2025.12.04

360

15

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

2026.01.31

292

21

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

2026.04.13

991

25

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

140

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

100

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

60

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go-Zero HTTP服务开发指南
Go-Zero HTTP服务开发指南

共0课时 | 0人学习

Go-Zero goctl安装与使用手册
Go-Zero goctl安装与使用手册

共0课时 | 0人学习

Go-Zero框架快速开始指南
Go-Zero框架快速开始指南

共0课时 | 0人学习