你可以这样理解:
因为权重是给定的,所以权重矩阵的分母之和是一个定值,除以它并不会对归一化的结果产生影响。
之前除以权重矩阵的分母之和是为了能够得到一个0~1之间的归一化值,忽略它的目的是为了使矩阵乘法比较容易辨认
leaky relu:
ai是(1,+∞)区间内的固定参数。
不是简单的平移
在一个神经元中f函数通常被称为激活函数(激励函数,传递函数) ,不同的叫法而已