使用 log_loss/roc_auc_score 或执行 cross_val_score 并评分

Question

在探索 Scikit learn 中的一些分类模型时，我注意到执行交叉验证时获得的对数损失和 ROC AUC 分数始终低于在整个训练集上进行拟合和预测（用于检查过度拟合）时的分数，但事实并非如此对我来说有意义。具体来说，使用cross_validate我将评分设置为['neg_log_loss', 'roc_auc']，在对训练集执行手动拟合和预测时，我使用了度量函数log_loss'和roc_auc_score。

为了尝试弄清楚发生了什么，我编写了一段代码来手动执行交叉验证，以便能够在各个折叠上手动调用度量函数并将结果与cross_validate . 正如你在下面看到的，即使这样我也得到了不同的结果！

from sklearn.model_selection import StratifiedKFold

kf = KFold(n_splits=3, random_state=42, shuffle=True)

log_reg = LogisticRegression(max_iter=1000)

for train_index, test_index in kf.split(dataset, dataset_labels):

    X_train, X_test = dataset[train_index], dataset[test_index]

    y_train, y_test = dataset_labels_np[train_index], dataset_labels_np[test_index]

    log_reg.fit(X_train, y_train)

    pr = log_reg.predict(X_test)

    ll = log_loss(y_test, pr)

    print(ll)

from sklearn.model_selection import cross_val_score

cv_ll = cross_val_score(log_reg, dataset_prepared_stand, dataset_labels, scoring='neg_log_loss',

                            cv=KFold(n_splits=3, random_state=42, shuffle=True))

print(abs(cv_ll))

输出：

4.795481869275026

4.560119170517534

5.589818973403791

[0.409817 0.32309  0.398375]

针对 ROC AUC 运行相同代码的输出为：

0.8609669592272686

0.8678563239907938

0.8367147503682851

[0.925635 0.94032  0.910885]

为了确保代码编写正确，我还尝试使用代码'accuracy'作为交叉验证的评分和accuracy_score度量函数，结果是一致的：

0.8611584327086882

0.8679727427597955

0.838160136286201

[0.861158 0.867973 0.83816 ]

有人可以解释一下为什么 log loss 和 ROC AUC 的结果不同吗？谢谢！

Answer 1

Log-loss 和 auROC 都需要概率预测，而不是硬类预测。所以改变pr = log_reg.predict(X_test)到pr = log_reg.predict_proba(X_test)[:, 1]（下标是为了获取正类的概率，并假设您正在进行二元分类）。