Keras 中的分割网络在训练期间收敛到单个类

Question

我正在尝试使用 Tensorflow 后端在 Keras 中实现 RefineNet。我正在使用来自https://gist.github.com/flyyufelix/65018873f8cb2bbe95f429c474aa1294的 ResNet-101 前端和预训练权重。模型编译成功，但在训练期间不收敛：它总是在 1 到 5 个训练步骤后收敛到单个类。

我尝试过的东西清单/虽然：

• 输入数据是one-hot编码

• 输入图像具有正确的对应掩码

• 损失函数是分类交叉熵

• 预训练的权重正确，前端正确分类输入图像（例如猫）

• 冻结/解冻前端层似乎没有什么区别

• 不同的优化器（Adam，SGD），不同的学习率（0.01 - 0.000001）

• 网络甚至不会收敛到/过拟合单个训练样本

• 类不平衡：我尝试使用加权损失，没有帮助。此外，网络并不总是收敛到最大的类。

• 检查网络图并将它们与 RefineNet 论文中的架构进行比较。

• 可能是某种初始化问题，但 Keras 的默认初始化是内核的 glorot_uniform 和偏差的零，想不出比这更好的了。

• ReLU 可能已经全部消亡，但仅在几个训练步骤后就不应该发生这种情况，对吗？我试过 LeakyRelU，没有帮助。

• 尝试了不同的输入大小、批量大小、随机裁剪、纵横比（此时有点绝望）。

• 尝试输入随机噪声，行为相同。

最后一点让我认为架构只是无视输入，但我不知道在哪里，如何以及为什么。

训练期间的示例输出：

Training:

Step 0, loss 15.566238403320312, acc 0.012790679931640625

Step 1, loss 9.91278076171875, acc 0.36734771728515625

Step 2, loss 10.994621276855469, acc 0.27989959716796875

Step 3, loss 10.00101375579834, acc 0.3611602783203125

Step 4, loss 11.439224243164062, acc 0.2010345458984375

Step 5, loss 11.397968292236328, acc 0.229278564453125

Step 6, loss 9.844161987304688, acc 0.3711433410644531

Step 7, loss 9.981706619262695, acc 0.36286163330078125

Step 8, loss 11.335559844970703, acc 0.21475982666015625

Step 9, loss 9.997631072998047, acc 0.3608970642089844

...

完整代码可以在以下 Google Colab notebook 中找到：https ://colab.research.google.com/drive/1OlujuKZYhRaTm9h7rHAPEi9gkiYmQLR_

我已尝试尽可能轻松地重现该问题。

任何帮助/想法将不胜感激！

Answer 1

在 conv 层解决问题之后添加 Batch Normalization 层。