为什么TensorFlow的Fashion MNIST问题中keras神经网络第二层有128个节点

Question

为什么 FASHION MNIST 问题的 keras 模型第二层正好有 128 个节点？

https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/tutorials/keras/classification.ipynb#scrollTo=9ODch-OFCaW4

model = keras.Sequential([

    keras.layers.Flatten(input_shape=(28, 28)),

    keras.layers.Dense(128, activation='relu'),

    keras.layers.Dense(10, activation='softmax')

])

Answer 1

基本上，您可以为其指定任何数字，前提是结果（准确性、延迟等）对您来说足够好，并且您的硬件也可以运行它。

Answer 2

在本教程中，我们只是制作一个简单的神经网络，因此 128 个节点就足够了，一些神经网络建议如果神经元或节点的数量是 2 的幂，那么很容易计算 128 是 2 的幂 (2^ 7）因为它不是太小或太大，因此对于简单的神经网络来说已经足够了。但是您也可以尝试任何其他数字，更正式地说，节点的数量取决于数据大小，您可以给它任何数字，但是如果您为更大的数据提供更大的量级，则有可能过度拟合。过度拟合：当一个模型接受了这么多数据的训练时，它开始从我们数据集中的噪声和不准确的数据条目中学习。然后模型没有正确分类数据，因为太多的细节和噪音。参考：https ://www.geeksforgeeks.org/underfit-and-overfitting-in-machine-learning/