如何正确选择模型与评估指标：解决分类与回归混淆导致的 ValueError-Python教程-PHP中文网

如何正确选择模型与评估指标：解决分类与回归混淆导致的 ValueError

本文详解为何在二元分类任务中误用回归模型会触发“classification metrics can't handle a mix of binary and continuous targets”错误，并提供从模型选型、预测输出处理到指标适配的完整解决方案。

本文详解为何在二元分类任务中误用回归模型会触发“classification metrics can't handle a mix of binary and continuous targets”错误，并提供从模型选型、预测输出处理到指标适配的完整解决方案。

该错误的根本原因在于评估逻辑与模型类型不匹配：您将专为回归设计的模型（如 LinearRegression、SVR、MLPRegressor）应用于二元分类任务（目标变量 hospital_expire_flag 为 0/1），却仍调用 accuracy_score、precision_score 等仅接受离散整数标签的分类指标。尽管您的标签是二元的，但回归模型的 .predict() 方法返回的是连续浮点值（如 0.872、1.345），而分类指标要求预测值必须是与真实标签类型一致的离散类别（如 0 或 1）。当 y_pred 包含非整数连续值时，scikit-learn 会报出该 ValueError。

✅ 正确做法：严格区分任务类型，选用对应模型族

既然您的目标变量 hospital_expire_flag 是明确的二元分类标签（生死结局），所有模型都应使用分类器（Classifier）而非回归器（Regressor）。以下是推荐的模型映射关系：

任务类型	推荐模型（Classifier）	替代方案（若需概率）
逻辑建模	LogisticRegression	✅ predict_proba() 支持 ROC/AUC
树模型	DecisionTreeClassifier	✅ predict_proba()
集成学习	RandomForestClassifier	✅ predict_proba()
支持向量	SVC(probability=True)	⚠️ 需设 probability=True 启用概率输出
神经网络	MLPClassifier	✅ predict_proba()

❌ 错误示例（当前代码问题）：

# Regression models — DO NOT use for classification!
'LinearRegression': {'constructor': LinearRegression(), ...},
'SVR': {'constructor': SVR(), ...},

✅ 正确替换（修正后）：

'LogisticRegression': {'constructor': LogisticRegression(max_iter=1000), ...},
'DecisionTreeClassifier': {'constructor': DecisionTreeClassifier(), ...},
'RandomForestClassifier': {'constructor': RandomForestClassifier(), ...},
'SVC': {'constructor': SVC(probability=True), ...},
'MLPClassifier': {'constructor': MLPClassifier(max_iter=1000), ...},

? 关键修复：统一预测接口与指标调用逻辑

在 algorithms 字典中，需为每个分类器统一定义 predict 和 predict_prob 行为，并确保所有模型输出均为整型预测标签：

from sklearn.metrics import (
    accuracy_score, precision_score, recall_score,
    f1_score, cohen_kappa_score, confusion_matrix,
    roc_curve, roc_auc_score, mean_squared_error
)

algorithms = {
    'LogisticRegression': {
        'constructor': LogisticRegression(max_iter=1000),
        'predict': lambda m, X: m.predict(X),  # → returns int array [0, 1, 1, ...]
        'predict_prob': lambda m, X: m.predict_proba(X)[:, 1],  # → float scores for class 1
    },
    'DecisionTreeClassifier': {
        'constructor': DecisionTreeClassifier(),
        'predict': lambda m, X: m.predict(X),
        'predict_prob': lambda m, X: m.predict_proba(X)[:, 1],
    },
    'RandomForestClassifier': {
        'constructor': RandomForestClassifier(),
        'predict': lambda m, X: m.predict(X),
        'predict_prob': lambda m, X: m.predict_proba(X)[:, 1],
    },
    'SVC': {
        'constructor': SVC(probability=True),  # critical: enable probability estimation
        'predict': lambda m, X: m.predict(X),
        'predict_prob': lambda m, X: m.predict_proba(X)[:, 1],
    },
    'MLPClassifier': {
        'constructor': MLPClassifier(max_iter=1000, early_stopping=True),
        'predict': lambda m, X: m.predict(X),
        'predict_prob': lambda m, X: m.predict_proba(X)[:, 1],
    }
}

? 评估函数优化：按模型类型动态启用指标

在 evaluate_model() 中，不再对所有模型强行计算分类指标，而是根据模型是否支持概率预测来条件化 AUC 计算，并始终使用 predict() 输出（整型）进行分类指标评估：

def evaluate_model(algo, x_train, y_train, x_test, y_test, model_filename):
    model = algo['constructor']
    model.fit(x_train, y_train)

    # Save model
    with open(model_filename, 'wb') as file:
        pickle.dump(model, file)

    # Get discrete predictions (required for classification metrics)
    y_pred = algo['predict'](model, x_test).astype(int)  # Ensure int type

    # Classification metrics — only valid on discrete y_pred
    acc = accuracy_score(y_test, y_pred)
    prec = precision_score(y_test, y_pred, zero_division=0)
    rec = recall_score(y_test, y_pred, zero_division=0)
    f1 = f1_score(y_test, y_pred, zero_division=0)
    kappa = cohen_kappa_score(y_test, y_pred)
    cm = confusion_matrix(y_test, y_pred)

    # Regression-style metrics (optional, for comparison)
    mse = mean_squared_error(y_test, y_pred)  # Note: y_pred is now int, but MSE still computable
    rmse = np.sqrt(mse)
    mae = np.mean(np.abs(y_test - y_pred))

    # AUC — only if predict_prob is available
    if algo['predict_prob'] is not None:
        try:
            y_pred_proba = algo['predict_prob'](model, x_test)
            fpr, tpr, _ = roc_curve(y_test, y_pred_proba)
            auc = roc_auc_score(y_test, y_pred_proba)
        except Exception as e:
            print(f"Warning: AUC calculation failed for {algo}: {e}")
            fpr = tpr = auc = None
    else:
        fpr = tpr = auc = None

    return {
        'acc': acc, 'prec': prec, 'rec': rec, 'f1': f1, 'kappa': kappa,
        'fpr': fpr, 'tpr': tpr, 'auc': auc, 'cm': cm,
        'mse': mse, 'rmse': rmse, 'mae': mae
    }

⚠️ 注意事项与最佳实践

绝不混用模型与指标类型：回归模型（Regressor）→ 使用 r2_score, MAE, RMSE；分类模型（Classifier）→ 使用 accuracy, F1, AUC。
概率预测需显式启用：如 SVC 必须设置 probability=True，否则 predict_proba() 报错。

标签一致性检查：在训练前添加断言，确保 y_train 和 y_test 仅为 {0, 1}：

assert set(np.unique(y_train)) == {0, 1}, "y_train contains non-binary values"
assert set(np.unique(y_test)) == {0, 1}, "y_test contains non-binary values"