Python中如何利用PCA进行降维与特征提取-Python教程-PHP中文网

pca前必须标准化，否则量纲差异会导致方差大的特征主导结果；应使用standardscaler对训练集fit_transform、测试集仅transform；n_components宜按累计方差贡献率（如95%）自动选定；需通过loadings分析主成分与原始特征关系；推荐用pipeline保障部署一致性；pca不适用于强非线性结构，此时应选t-sne或umap。

python中如何利用pca进行降维与特征提取

PCA前必须做标准化，否则结果完全不可信

原始数据各特征量纲不同（比如年龄是0–100，收入是千位数），直接跑 PCA 会把方差大的特征强行“主导”主成分方向，跟实际相关性无关。这不是bug，是数学本质决定的——PCA基于协方差矩阵，而协方差对尺度极度敏感。

必须用 StandardScaler 先做零均值、单位方差处理：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)  # 注意：fit_transform 不能拆成 fit + transform 分两步用于新数据

训练集和测试集要共用同一个 scaler 实例（即先对训练集 fit_transform，再对测试集只用 transform）
如果漏掉这步，pca.explained_variance_ratio_ 看起来很“漂亮”，但投影后的坐标毫无物理意义
分类变量或已编码的 one-hot 特征一般不参与标准化，需提前分离

n_components 参数怎么选：别硬写数字，看累计方差贡献率

写死 n_components=2 只适合可视化；真实建模中，该保留多少维，得看数据本身的信息密度。核心指标是 pca.explained_variance_ratio_（每个主成分解释的方差比例）和它的累加值。

推荐做法：

Python Testing

Python 测试速查：运行 pytest、使用 mock/patch、参数化、fixtures、异步、覆盖率测试。

下载

pca = PCA().fit(X_scaled)  # 先不设 n_components，让PCA算全
cumsum = np.cumsum(pca.explained_variance_ratio_)
n_components = np.argmax(cumsum >= 0.95) + 1  # 保留95%方差所需的最小维数

n_components=0.95 是合法参数，PCA 会自动计算满足该阈值的最小维度
画出 cumsum 曲线常能发现“拐点”，比如前5个主成分就占了88%，第6个只加1.2%，这时停在5维更合理
若原始特征本就稀疏（如文本TF-IDF），PCA可能不如 TruncatedSVD 稳定

降维后不能直接扔掉原始特征名，得查主成分荷载（loadings）

主成分是原始特征的线性组合，但 PCA 默认不暴露这个映射关系。想理解“PC1 主要由哪些原始特征驱动”，必须手动计算荷载矩阵：

loadings = pca.components_.T * np.sqrt(pca.explained_variance_)  # shape: (n_features, n_components)
# 或更直观地：loadings = pca.components_.T  # 直接看权重符号与大小

pca.components_ 每行是一个主成分，每列对应原始特征的系数；绝对值越大，该特征对该主成分贡献越强
正负号表示正相关/负相关（例如 PC1 中“收入”系数为正、“投诉次数”为负，说明高收入低投诉群体拉高了 PC1 值）
别依赖 feature_names_in_ —— scikit-learn 1.2+ 才支持，旧版本需自己传入或从 X 的列名重建

用 PCA 做特征提取时，注意 pipeline 和部署一致性

训练时用了 PCA，预测时必须走同样流程：标准化 → PCA 投影 → 模型预测。任何一步脱节都会导致线上结果错乱。

安全做法是封装成 sklearn.pipeline.Pipeline：

from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier
<p>pipe = Pipeline([
('scaler', StandardScaler()),
('pca', PCA(n_components=0.95)),
('clf', RandomForestClassifier())
])
pipe.fit(X_train, y_train)
y_pred = pipe.predict(X_test)  # 自动串起全部步骤</p>