逻辑回归在多分类中默认不检测或剔除共线性，仅通过l2正则化（默认penalty="l2"）缓解系数不稳定；增大c值会加剧共线性问题，真正有效的方法是前置特征工程，如相关性筛选、pca降维、删除onehot冗余列或rfe递归剔除。
逻辑回归在多分类中默认如何处理共线性？
scikit-learn 的 LogisticRegression 在多分类（如 multi_class="ovr" 或 "multinomial"）下，**不会主动检测或剔除共线性特征**。它依赖正则化（默认 penalty="l2"）来缓解共线性带来的系数不稳定问题，而非消除特征冗余。这意味着：即使两列高度相关，模型仍会保留两者，仅通过 C 参数压缩其系数大小。
为什么不能只靠增加 C 值来“解决”共线性？
调小正则强度（即增大 C）反而会让共线性暴露得更明显——系数方差飙升、符号反常、预测对微小数据扰动敏感。实操中容易踩的坑包括：
- 盲目设
C=1e6以为“去掉正则”，结果训练失败或验证集性能骤降 - 用
coef_解释特征重要性，但共线性下系数无法单独解读 - 在
multi_class="multinomial"下直接套用 OLS 的 VIF 检验，因损失函数不同，VIF 不适用
真正有效的共线性应对策略有哪些？
必须前置处理特征，而非依赖模型内部机制。推荐组合操作：
- 计算每对数值特征的
abs(corr)，对 >0.95 的组合，保留业务意义更强或缺失更少的那个 - 用
sklearn.decomposition.PCA降维（尤其当特征数 > 样本数时），注意：PCA 后需重新缩放（StandardScaler必须在 PCA 前拟合） - 对类别型变量做
OneHotEncoder后，检查是否生成了全零列或恒等列（如“性别_男”+“性别_女”=1），删掉冗余列 - 使用
sklearn.feature_selection.RFE配合LogisticRegression(penalty="l2", solver="liblinear")递归剔除贡献小且与其他特征强相关的变量
多分类场景下特别要注意的兼容性细节
LogisticRegression 的 solver 选择直接影响共线性容忍度：
-
solver="lbfgs"或"newton-cg"支持multi_class="multinomial"，但对病态 Hessian 矩阵更敏感，共线性强时易收敛失败或报ConvergenceWarning -
solver="liblinear"仅支持 OvR，但对小数据集和共线性更鲁棒（底层用坐标下降） -
solver="saga"支持 L1/L2 混合惩罚，适合高维稀疏特征，但需手动设max_iter（默认 100 不够）
共线性不是“调参能修好”的问题——它根植于特征工程阶段。哪怕用了 class_weight="balanced" 或 sample_weight，若输入特征矩阵秩亏，模型输出的 predict_proba 依然可能在边缘样本上剧烈震荡。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
