val_loss 减半但 val_acc 保持不变

Question

我正在训练一个神经网络并得到以下输出。loss 和 val_loss 都在减少，这让我很高兴。但是， val_acc 保持不变。那有什么原因呢？我的数据非常不平衡，但我正在通过 sklearncompute_class_weight函数对其进行权衡。

Train on 109056 samples, validate on 27136 samples

Epoch 1/200

- 1174s - loss: 1.0353 - acc: 0.5843 - val_loss: 1.0749 - val_acc: 0.7871

Epoch 00001: val_acc improved from -inf to 0.78711, saving model to 

nn_best_weights.h5

Epoch 2/200

- 1174s - loss: 1.0122 - acc: 0.6001 - val_loss: 1.0642 - val_acc: 0.9084

Epoch 00002: val_acc improved from 0.78711 to 0.90842, saving model to 

nn_best_weights.h5

Epoch 3/200

- 1176s - loss: 0.9974 - acc: 0.5885 - val_loss: 1.0445 - val_acc: 0.9257

Epoch 00003: val_acc improved from 0.90842 to 0.92571, saving model to 

nn_best_weights.h5

Epoch 4/200

- 1177s - loss: 0.9834 - acc: 0.5760 - val_loss: 1.0071 - val_acc: 0.9260

Epoch 00004: val_acc improved from 0.92571 to 0.92597, saving model to 

nn_best_weights.h5

Epoch 5/200

- 1182s - loss: 0.9688 - acc: 0.5639 - val_loss: 1.0175 - val_acc: 0.9260

Epoch 00005: val_acc did not improve from 0.92597

Epoch 6/200

- 1177s - loss: 0.9449 - acc: 0.5602 - val_loss: 0.9976 - val_acc: 0.9246

Epoch 00006: val_acc did not improve from 0.92597

Epoch 7/200

- 1186s - loss: 0.9070 - acc: 0.5598 - val_loss: 0.9667 - val_acc: 0.9258

Epoch 00007: val_acc did not improve from 0.92597

Epoch 8/200

- 1178s - loss: 0.8541 - acc: 0.5663 - val_loss: 0.9254 - val_acc: 0.9221

Epoch 00008: val_acc did not improve from 0.92597

Epoch 9/200

- 1171s - loss: 0.7859 - acc: 0.5853 - val_loss: 0.8686 - val_acc: 0.9237

Epoch 00009: val_acc did not improve from 0.92597

Epoch 10/200

- 1172s - loss: 0.7161 - acc: 0.6139 - val_loss: 0.8119 - val_acc: 0.9260

Answer 1

不知道你的模型很难回答你的问题。可能的答案是：你的模型没有问题。这可能是您可以获得的最高准确度。您的数据可能不平衡或未打乱。较高的 val_acc 然后 acc 表明训练、评估和测试拆分可能有问题。一开始的训练精度往往高于 val_acc。然后 val_acc 赶上，或不;) 我还可以表明您的数据集中没有太大的差异，那么您可能会有这种行为。你的学习率可能太大了。尝试减少它。我猜模型要最小化的实际指标是损失，因此在优化过程中，您应该跟踪损失并监控其改进。查看此链接以获取有关如何检查模型的更多信息。

Answer 2

似乎是学习率太高，错过了局部最小值，阻碍了神经网络改进学习的情况：如果您可以自定义优化器，那就太好了，如下所示：learning_rate = 0.008decay_rate = 5e-6momentum = 0.65sgd = SGD(lr=learning_rate,momentum=momentum, decay=decay_rate, nesterov=False)model.compile(loss="categorical_crossentropy", optimizer=sgd,metrics=['accuracy'])  另外，增加卷积的数量。权重可能已饱和。