如果我的网络无论我如何训练它或扩展它的容量都永远不会过拟合，这意味着什么？

Question

我训练了一个模型，得到了不错的结果，但后来我变得贪婪，我想要更高的准确性，所以，我训练模型的时间越来越长，越来越长，但无济于事，什么也没有发生！根据理论，在某些时候，验证准确度必须在训练过多后开始下降（损失开始增加）！但这似乎从未发生过。所以，我想可能是神经网络太简单而无法过拟合，所以我增加了它的容量，最终得到了数百万个参数，我训练了 10,000 个 epoch，仍然没有发生过拟合。

这里问了同样的问题，但那里的答案并不令人满意。

这意味着什么？

Answer 1

对于高容量模型来说，这是众所周知的事情。它们对过度拟合有惊人的抵抗力，这与经典的统计学习理论相矛盾，即如果没有明确的正则化，你就会过度拟合。例如，这篇论文说大多数具有学习参数的深度神经网络通常在经验上泛化非常好，甚至配备了比训练样本数量更有效的参数，即高容量......因此，统计学习理论无法解释深度学习模型的泛化能力。此外，这和这篇论文都在谈论它。您可以继续关注这些论文中的参考资料以阅读更多信息。就个人而言，我从未见过高容量模型过拟合，即使在训练了数千个 epoch 之后也是如此。如果你想要一个过拟合的例子：为 Cifar10 使用 Lenet 5，使用 ReLU 激活且没有 dropout，并使用 SGD 和 learning rate 对其进行训练0.01。该模型的训练参数数量约为 6000 万，与 Cifar10（低容量模型）中的样本数量相同。在最多 500-1000 个 epoch 之后，您将看到一个非常明显的过度拟合，随着时间的推移损失和错误越来越多。