网络梯度下降反向传播，每一层都要求，一直到倒数第二层，最后一层输入的x不需要求。

反向传播过程

网络梯度下降

神经网络的梯度下降——反向传播

通过运算结果，逆向调节每一层的W,b,从而使整个神经链条达到一种最佳的状态

通过w,b的线性运算和激励函数的操作，在每一层上通过这两部得到下一层的输入值

倒数第二层不需要调校

正向传播-->网络向量化

反向传播-->网络梯度下降

对a^n求导，输出dW^n、db^n、dz^n，得到da^n-1

y-->a^n-->a^n-1-->……-->a（x层不需要调教）

训练过程：正向传播计算损失-->反向传播更新参数-->反复以上步骤

注意：传播按层进行，中间没有交叉，所有层全部算好后再一次性更新参数

网络梯度下降

又叫反向传播

a n为第n层（从最后一层开始）的输出，该层有自己的参数W n与b n，通过da n求导得出dz n，并依次得到dW n与db n，在得到上一层的输出的导数da n-1，该过程直到求出第二层的输出的导数da 1未知，完成整个网络梯度下降（反向传播）机制

反响传播是通过运算结果来逆向调节每一层w与b的参数，而使得整个神经网络的函数链条达到最大的效果