多层神经网络反向传播公式

Question

使用反向传播演算中的符号| 深度学习，第 4 章，我有一个 4 层（即 2 个隐藏层）神经网络的反向传播代码：

def sigmoid_prime(z): 

    return z * (1-z)  # because σ'(x) = σ(x) (1 - σ(x))

def train(self, input_vector, target_vector):

    a = np.array(input_vector, ndmin=2).T

    y = np.array(target_vector, ndmin=2).T

    # forward

    A = [a]  

    for k in range(3):

        a = sigmoid(np.dot(self.weights[k], a))  # zero bias here just for simplicity

        A.append(a)

    # Now A has 4 elements: the input vector + the 3 outputs vectors

    # back-propagation

    delta = a - y

    for k in [2, 1, 0]:

        tmp = delta * sigmoid_prime(A[k+1])

        delta = np.dot(self.weights[k].T, tmp)  # (1)  <---- HERE

        self.weights[k] -= self.learning_rate * np.dot(tmp, A[k].T) 

它有效，但是：

最后的准确性（对于我的用例：MNIST 数字识别）还可以，但不是很好。 将第 (1) 行替换为：

delta = np.dot(self.weights[k].T, delta)  # (2)

从代码机器学习与Python：培训和测试的神经网络MNIST数据集还建议：

delta = np.dot(self.weights[k].T, delta)

代替：

delta = np.dot(self.weights[k].T, tmp)

（用本文的注释，它是：

output_errors = np.dot(self.weights_matrices[layer_index-1].T, output_errors)

)

这两个参数似乎是一致的：代码 (2) 比代码 (1) 好。

然而，数学似乎显示出相反的情况（参见此处的视频；另一个细节：请注意，我的损失函数乘以 1/2 而它不在视频中）：

问题：哪个是正确的：实现（1）还是（2）？

Answer 1

我花了两天时间来分析这个问题，我用偏导数计算填满了几页笔记本......我可以确认：问题中用 LaTeX 写的数学是正确的的代码（1）是正确的，并且将其与数学运算同意：delta = a - yfor k in [2, 1, 0]:&nbsp; &nbsp; tmp = delta * sigmoid_prime(A[k+1])&nbsp; &nbsp; delta = np.dot(self.weights[k].T, tmp)&nbsp; &nbsp; self.weights[k] -= self.learning_rate * np.dot(tmp, A[k].T)&nbsp;代码（2）是错误的：delta = a - yfor k in [2, 1, 0]:&nbsp; &nbsp; tmp = delta * sigmoid_prime(A[k+1])&nbsp; &nbsp; delta = np.dot(self.weights[k].T, delta)&nbsp; # WRONG HERE&nbsp; &nbsp; self.weights[k] -= self.learning_rate * np.dot(tmp, A[k].T)&nbsp;使用 Python进行机器学习时有一个小错误：使用 MNIST 数据集训练和测试神经网络：output_errors = np.dot(self.weights_matrices[layer_index-1].T, output_errors)应该output_errors = np.dot(self.weights_matrices[layer_index-1].T, output_errors * out_vector * (1.0 - out_vector))现在是我花了几天才意识到的困难部分：显然代码 (2) 比代码 (1) 具有更好的收敛性，这就是为什么我误认为代码 (2) 是正确的而代码 (1) 是错误的……但实际上这只是巧合，因为learning_rate设置得太低了。原因如下：当使用代码 (2) 时，参数delta的增长速度print np.linalg.norm(delta)比代码 (1)快得多（有助于看到这一点）。因此，“不正确的代码（2）”只是通过具有更大的delta参数来补偿“过慢的学习率” ，并且在某些情况下导致明显更快的收敛。现在解决了！