Python逻辑回归中的多重共线性_VIF方差膨胀因子检测-Python教程-PHP中文网

可用statsmodels.stats.outliers_influence.variance_inflation_factor计算vif：对每个自变量用其余自变量做ols回归得r²，再代入vif=1/(1−r²)，输入须为无缺失的数值型dataframe或ndarray。

python逻辑回归中的多重共线性_vif方差膨胀因子检测

怎么用 statsmodels 计算 VIF 判断逻辑回归的多重共线性

逻辑回归本身不直接要求自变量间无共线性，但共线性会放大系数标准误、导致 statsmodels 的 Logit 拟合结果不稳定（比如某变量 p 值忽大忽小、系数符号反直觉），这时必须查 VIF。注意：VIF 是针对**自变量之间关系**的诊断，和因变量是否为二分类无关，所以可以直接复用线性回归的 VIF 计算逻辑。

核心做法是：对每个自变量 X_j，用其余所有自变量做一次线性回归（OLS），取其决定系数 R²_j，再代入公式 VIF_j = 1 / (1 - R²_j)。不能直接在 Logit 模型上算 VIF——那没意义。

实操建议：

用 statsmodels.stats.outliers_influence.variance_inflation_factor，它内部就是按上述 OLS 方式计算，输入是完整的 X（含截距列或不含均可，函数会自动处理）
确保传入的是数值型 numpy.ndarray 或 pandas.DataFrame，不能含缺失值（NaN），否则报错 ValueError: Input contains NaN
若用了 pd.get_dummies 做独热编码，务必先 drop 掉一列（避免虚拟变量陷阱），否则未 drop 的类别之间必然完全共线，VIF 会是无穷大（inf）

为什么 sklearn 的 LogisticRegression 不报共线性警告，但结果却不可靠

sklearn.linear_model.LogisticRegression 默认使用 liblinear 或 lbfgs 求解器，它们通过正则化（哪怕 C=1e5 也隐含微小惩罚）或数值迭代容忍一定共线性，因此不会像 statsmodels 那样抛出 LinAlgWarning: Cond. number large。但这不等于问题消失——而是把病灶“压进”了系数估计里。

典型表现：

提示词大师-python版

图片提示词生成器？不止如此。马甲系统 —— 把脑海中的画面，翻译成AI能理解的专业表达。用得越多，它越懂你：首次需要多问几句确认方向，用久了几乎一说就懂。用得越多，它越快：缓存机制让后续对话越来越省。 RAG进化：成功案例持续入库，越跑越聪明。输入「新手指南」查看完整功能介绍

下载

同一份数据，多次运行 LogisticRegression(fit_intercept=True, solver='lbfgs')，coef_ 可能出现 10% 以上浮动
加入一个高度相关的冗余变量（如 income 和 log_income），模型 AUC 几乎不变，但两个变量的 coef_ 符号相反、绝对值都很大
sklearn 不提供 VIF 接口，也不能直接从 LogisticRegression 对象中提取 R² 或条件数（cond）

VIF > 5 就一定要删变量？阈值怎么选才靠谱

教科书常说 “VIF > 10 严重共线性”，但在逻辑回归实战中，这个阈值太宽松。因为逻辑回归的 Fisher 信息矩阵本就比线性回归更易病态，VIF > 5 时，statsmodels 的 Logit 就常出现 ConvergenceWarning: Maximum Likelihood optimization failed to converge，或系数标准误突然跳升 3 倍以上。

更务实的判断方式：

优先看变化趋势：如果删掉一个 VIF=6.2 的变量后，另一个变量的 VIF 从 8.7 降到 2.1，说明它确实是共线性“枢纽”，值得删
结合业务解释性：两个高 VIF 变量（如 user_age 和 user_birth_year）本质是同一信息，留一个即可；但 page_views 和 time_on_page 虽 VIF=7.3，若业务上确为不同维度，可考虑用 PCA 降维而非硬删
警惕“虚假安全”：所有变量 VIF condition_number > 3000（可用 results.condition_number 查），仍可能存在隐藏共线性，此时应检查相关系数矩阵或用 SVD 分解

用 pandas + statsmodels 做 VIF 检测的最小可运行代码

以下代码假设你已有清洗好的 df，目标列是 y，特征列在 feature_cols 中：

from statsmodels.stats.outliers_influence import variance_inflation_factor
import pandas as pd
<h1>确保只传数值列，且无缺失</h1><p>X = df[feature_cols].copy()
X = X.dropna()  # 必须，否则 variance_inflation_factor 报错</p><p>vif_data = pd.DataFrame()
vif_data["feature"] = X.columns
vif_data["VIF"] = [variance_inflation_factor(X.values, i) for i in range(len(X.columns))]</p><p>print(vif_data.sort_values("VIF", ascending=False))
</p>

注意：variance_inflation_factor 第二个参数是列索引位置（int），不是列名；循环里用 range(len(X.columns)) 最稳妥。如果某列 VIF 输出 inf，立刻检查该列是否与其他列存在精确线性组合（例如全为另一列的 2 倍），这种情形在工程数据中常源于 ETL 脚本重复计算。

真正麻烦的不是 VIF 高，而是高 VIF 变量恰好是业务关键解释项——这时候得在统计稳健性和可解释性之间做显式取舍，而不是寄希望于换一个求解器就能绕过去。