GridSearchCV在平均绝对误差上的得分

Question

我正在尝试设置GridSearchCV的实例，以确定哪组超参数将产生最低的平均绝对误差。此scikit文档指示可以在创建GridSearchCV时将得分指标传递到网格中（如下所示）。

param_grid = {

    'hidden_layer_sizes' : [(20,),(21,),(22,),(23,),(24,),(25,),(26,),(27,),(28,),(29,),(30,),(31,),(32,),(33,),(34,),(35,),(36,),(37,),(38,),(39,),(40,)],

    'activation' : ['relu'],

    'random_state' : [0]

    }

gs = GridSearchCV(model, param_grid, scoring='neg_mean_absolute_error')

gs.fit(X_train, y_train)

print(gs.scorer_)

[1] make_scorer(mean_absolute_error, greater_is_better=False)

但是，就平均绝对误差而言，网格搜索未选择性能最佳的模型

model = gs.best_estimator_.fit(X_train, y_train)

print(metrics.mean_squared_error(y_test, model.predict(X_test)))

print(gs.best_params_)

[2] 125.0

[3] Best parameters found by grid search are: {'hidden_layer_sizes': (28,), 'learning_rate': 'constant', 'learning_rate_init': 0.01, 'random_state': 0, 'solver': 'lbfgs'}

在运行完上面的代码并确定了所谓的“最佳参数”之后，我删除了gs.best_params_中找到的值之一，并发现通过再次运行程序，均方误差有时会减小。

param_grid = {

'hidden_layer_sizes' : [(20,),(21,),(22,),(23,),(24,),(25,),(26,),(31,),(32,),(33,),(34,),(35,),(36,),(37,),(38,),(39,),(40,)],

'activation' : ['relu'],

'random_state' : [0]

}

[4] 122.0

[5] Best parameters found by grid search are: {'hidden_layer_sizes': (23,), 'learning_rate': 'constant', 'learning_rate_init': 0.01, 'random_state': 0, 'solver': 'lbfgs'}

为了澄清起见，我更改了输入到网格搜索中的集合，以使其不包含选择隐藏层大小为28的选项，进行更改后，我再次运行代码，这次它选择了一个隐藏层大小为23且平均绝对误差减小了（即使从一开始就可以使用23的大小），如果它正在评估平均绝对误差，为什么不从一开始就选择此选项呢？

Answer 1

基本的网格搜索和模型拟合取决于用于不同目的的随机数生成器。在scikit-learn中，这是由param控制的random_state。查看我的其他答案以了解它：https://stackoverflow.com/a/42477052/3374996https://stackoverflow.com/a/42197534/3374996现在以您的情况为例，我可以想到这些随机数生成会影响训练的因素：1）GridSearchCV默认情况下，将使用3折的KFold进行回归任务，这可能会在不同的运行中以不同的方式拆分数据。有可能发生在两个网格搜索过程中发生的分裂是不同的，因此分数也不同。2）您正在使用单独的测试数据来计算GridSearchCV无法访问的mse。因此，它将找到适合于所提供数据的参数，该参数可能对单独的数据集完全有效，也可能不完全有效。更新：我现在看到您已经random_state在参数网格中使用了模型，因此现在第3点不再适用。3）您尚未显示model正在使用哪个。但是，如果训练过程中的模型使用的是数据子样本（例如选择较少数量的特征，或者较少数量的行进行迭代，或者针对不同的内部估计量），那么您也需要修正该问题以获得相同的分数。您需要先修复该问题，然后再检查结果。推荐范例您可以从以下示例中获取想法：# Define a custom kfoldfrom sklearn.model_selection import KFoldkf = KFold(n_splits=3, random_state=0)# Check if the model you chose support random_statemodel = WhateEverYouChoseClassifier(..., random_state=0, ...)# Pass these to grid-searchgs = GridSearchCV(model, param_grid, scoring='neg_mean_absolute_error', cv = kf)然后通过更改参数网格再次进行您做的两个实验。