如何在Python中通过计算VIF方差膨胀因子解决特征间的多重共线性？-Python教程-PHP中文网

vif是方差膨胀因子，用于量化特征间多重共线性程度，计算公式为1/(1−r²ⱼ)，r²ⱼ越高说明该特征越易被其余特征线性表达，vif>5或>10即提示中度至严重共线性。

如何在python中通过计算vif方差膨胀因子解决特征间的多重共线性？

什么是VIF，以及它为什么能反映多重共线性

VIF（Variance Inflation Factor）本质是某个特征对其余特征做线性回归时的 1 / (1 - R²)。R² 越高，说明该特征越容易被其他特征线性表达，共线性越强；VIF > 5 或 > 10（常见阈值）就提示需要警惕。

注意：VIF 对缺失值敏感，且要求所有特征为数值型。类别型变量必须先做独热编码（pd.get_dummies），但要注意避免“虚拟变量陷阱”——比如对有 3 类的变量生成 2 个 dummy 列，而不是 3 个。

用 statsmodels 计算单个特征的 VIF

statsmodels 提供了 variance_inflation_factor 函数，但它只接受二维数组和列索引，不支持 DataFrame 直接传入列名。常见错误是传错 exog（设计矩阵）或索引越界。

确保输入 exog 是不含截距项的纯特征矩阵（add_constant=False）
列顺序必须和原始 DataFrame 一致，索引从 0 开始 —— 比如想算 "age" 的 VIF，得先用 df.columns.get_loc("age") 找到位置
若某列是常数（全相同值），R²=0，VIF 会变成 1；但若该列标准差为 0，LinearRegression 可能报 LinAlgError，需提前过滤掉

from statsmodels.stats.outliers_influence import variance_inflation_factor
import pandas as pd
<h1>假设 df_numeric 是清洗后的数值型特征 DataFrame</h1><p>vif_data = pd.DataFrame()
vif_data["feature"] = df_numeric.columns
vif_data["VIF"] = [variance_inflation_factor(df_numeric.values, i) 
for i in range(len(df_numeric.columns))]
</p>

批量计算 VIF 并自动剔除高共线性特征

手动逐个看 VIF 值效率低，更实用的是迭代剔除最高 VIF 的特征，直到全部 ≤ 阈值（如 5）。但要注意：剔除后其余特征的 VIF 会变化，不能只筛一遍。

python-script-generator

快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。

下载

每次剔除后必须重新计算全部剩余特征的 VIF —— 否则可能漏掉新暴露出来的共线性
不要直接删 df.drop(columns=[...]) 后继续用原 DataFrame 算，要基于当前子集重新构造 exog
若多个特征 VIF 都 > 10，优先删业务解释性弱、或与其他特征相关系数绝对值更高的那个，而非单纯看 VIF 数值大小
标准化（StandardScaler）不影响 VIF 计算结果，因为 VIF 基于 R²，而 R² 对线性变换不变

scikit-learn 中没有内置 VIF，别白找

sklearn 的 LinearRegression、FeatureSelection 模块都不提供 VIF。有人试图用 sklearn.metrics.r2_score 自己实现，但容易忽略：回归目标必须是当前列，其余列为预测变量，且不能含截距（否则 R² 定义不同，VIF 失效）。

真正省事的做法是坚持用 statsmodels.stats.outliers_influence.variance_inflation_factor，它底层就是调用 OLS，逻辑严谨。如果项目已重度依赖 sklearn 流水线，可在预处理阶段单独加一步 VIF 清洗，输出干净特征再进 pipeline。

最易被忽略的一点：VIF 只检测线性共线性。两个特征呈强二次关系（如 x 和 x²）时，VIF 可能正常，但模型仍不稳定 —— 这时候得结合散点图、条件数（np.linalg.cond）或 PCA 方差解释比来辅助判断。