如何在使用标准化数据训练模型后,为部分依赖图(PDP)正确还原原始尺度的横坐标

轻墨大大_2591

轻墨大大_2591

2026-04-16

712人浏览

原创

如何在使用标准化数据训练模型后,为部分依赖图(PDP)正确还原原始尺度的横坐标

当随机森林等模型基于standardscaler标准化的数据训练时,partialdependencedisplay默认显示缩放后的特征值;本文介绍如何通过逆变换将pdp横坐标标签重映射为原始数据尺度,提升可解释性,无需重新训练模型。

当随机森林等模型基于standardscaler标准化的数据训练时,partialdependencedisplay默认显示缩放后的特征值;本文介绍如何通过逆变换将pdp横坐标标签重映射为原始数据尺度,提升可解释性,无需重新训练模型。

在使用StandardScaler对特征进行标准化(即零均值、单位方差)后训练模型,调用PartialDependenceDisplay.from_estimator()生成的部分依赖图(PDP)中,横轴刻度反映的是标准化后的数值(如 −2.5 ~ 2.0),这严重削弱了业务可解释性——我们更关心“年龄每增加5岁”或“收入每提高1万元”对预测概率的影响,而非“标准差变化0.3个单位”。

关键在于:无需对原始测试集X_test_final反向缩放后再传入PDP函数(这会导致内部网格采样逻辑失效),而应保留标准化输入以确保计算正确性,仅对最终绘图的横轴刻度标签(tick labels)做逆变换。

StandardScaler的标准化公式为:
[ X' = \frac{X - \mu}{\sigma} ]
因此逆变换为:
[ X = X' \cdot \sigma + \mu ]

以下是完整实现步骤(以单特征PDP为例):

from sklearn.ensemble import RandomForestClassifier
from sklearn.inspection import PartialDependenceDisplay
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt
import numpy as np

# 假设已训练好模型 best_clf,X_test_final 是标准化后的测试集,
# scaler 是拟合在训练集上的 StandardScaler 实例
# best_features = ['age']  # 示例目标特征

# 1. 生成 PDP 并获取 Axes 对象
fig, ax = plt.subplots(figsize=(6, 4))
display = PartialDependenceDisplay.from_estimator(
    best_clf, 
    X_test_final, 
    features=best_features,
    ax=ax,
    line_kw={'color': 'steelblue', 'linewidth': 2}
)

# 2. 获取该特征对应的原始训练数据(用于计算均值/标准差)
# ⚠️ 注意:必须使用 scaler.fit() 时的原始训练特征列,而非测试集
# 假设 X_train_orig 是原始未缩放的训练特征矩阵,且 age 列索引为 0
x_orig = X_train_orig[:, 0]  # 替换为实际列索引或列名切片
mu, sigma = x_orig.mean(), x_orig.std()

# 3. 反向变换横轴刻度标签
x_ticks = ax.get_xticks()
xt_unscaled = (x_ticks * sigma) + mu
# 格式化为易读字符串(根据数据类型调整小数位数)
xt_labels = [f'{val:.1f}' if sigma > 0.1 else f'{val:.0f}' for val in xt_unscaled]

ax.set_xticks(x_ticks)  # 保持原刻度位置
ax.set_xticklabels(xt_labels)
ax.set_xlabel(f'{best_features[0]} (original scale)')

plt.tight_layout()
plt.show()

? 重要注意事项:

  • 均值与标准差必须来自原始训练数据(即scaler.fit(X_train)所用数据),而非测试集或缩放后数据,否则逆变换失准;
  • 若使用ColumnTransformer或管道(Pipeline),需从scaler对象中显式提取scaler.mean_[i]和scaler.scale_[i](scale_即标准差);
  • 多特征PDP需对每个子图分别处理ax,并匹配对应特征的统计量;
  • 此方法仅修改视觉标签,不改变PDP内在计算逻辑——模型始终在标准化空间中评估,保障结果数学一致性。

通过该技巧,你可在不牺牲模型性能与计算严谨性的前提下,让PDP真正“说人话”,显著增强模型诊断与业务沟通效率。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1891

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

5204

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1829

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

31457

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3727

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3747

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1263

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

616

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2883

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.1万人学习