假设,我构建了只有两层的神经网络(隐藏层加输出层)。
在隐藏层中Zh=WhX + Bh,然后运用激活函数sigmoid,即Yh = sigmoid(Zh),所以说Yh的范围也就是0-1。
然后Yh作为输入值传到输出层,再次用Zo = WoYh + Bo,然后用激活函数sigmiod,即Yo = sigmoid(Zo),Yo是预测值,也就是说Yo的范围也是0-1,再算得loss,即loss = (Y0 - 实际值)^2。
所以loss的图像是个碗形,我们就是要找碗的最低点。
但是我不理解的是,Yo的取值范围是 0-1,假设实际值是很大的数,所以用0.1 - 999的平方,和0.1 - 1000的平方几乎没有差别,假设实际值都是这么大的数,那岂不是无法计算?
初学神经网络,还请指教,谢谢。