逻辑回归梯度下降表达式

:=的意思是同步更新

阿尔法是学习速率

什么是梯度下降？

通过一种渐近式的方式，来调整整个函数的形态

在这里决定函数样子的就是w和b，当然已经确定了激励函数的情况下

找到一个适合的w和b值：先正向计算一个y值，此时w和b是初始值，此y值和真实的y值会有差异，差异通过损失函数反馈出来，然后通过损失函数对w和b进行求导，可以得出损失函数的极小值，在求极小值的过程中调校w和b，在取得的损失函数极小值时的y值就和真实的y值差异最小。

：=  

同步更新 W 和b

w、b两个参数的计算

梯度下降

损失函数函数面

求导后找到函数的变化方向

如果损失函数趋近一个全局最小值，那预测的Y值与对应的真实Y值差异最小

通过损失函数取到最小值的过程调整w、d

逻辑回归梯度下降法

为了找到局部最小或者全局最小值，对损失函数进行求导。

求损失函数导数

w、b同步更新

最终找到最小值

逻辑回归中的梯度下降

w和b决定函数的样子

w和b同步更新

α是学习的速率，避免计算太快，错过合适的W,

w=w-a*(损失函数对w进行求导)

梯度下降同步更新神经元线性部分的参数W和b，J(W,b)为损失函数

梯度下降是通过一种渐进性的方式来调整函数的形态（W，b），使学习结果与实际结果一致。

通过正向运算得到y^，此时W、b是初始值，y^与真实y值有差异，通过损失函数反向调整参数W、b。用损失函数分别对W、b求导，同步更新W、b，使在损失函数变化方向上渐进减小直到Global Minimum（全局最小值），此时W、b趋向于稳定。如果损失函数趋近于全局最小值，则预测y值与真实y值差异最小。

：=   同步更新

:= 同步更新

逻辑回归梯度下降

参数W与b的更新：

“:=”表示参数W与b需要同步更新，等号右边的W与b是上一次W与b的值，通过对损失函数J(w,b)求导（梯度），α代表学习率，学习率越高下降速度越快，但也有可能会越过最小值

通过不断找到损失函数的下一个最小值，以找到更优预测值来反向更新W与b的值，直到当前最小值趋于稳定，得出最优的W与b的值

梯度下降：

在得到线性组合参数W和b的初始值后，通过建立预测值y^与真实值y的损失函数来反向调整参数W和b，每一个损失函数都可表示成一个曲面，在这个曲面上有最大值也有最小值，第一个点（第一次输出的预测值与真实值的损失函数的值）顺着凸面向下不断找寻下一个更优更小的点（梯度下降），最终得到这个面上的最小值（这个点就是预测值y^与真实值y之间的差异最小值）该过程不断进行直到参数W和b稳定，这时就得到了一个最优（最接近实际问题）的逻辑回归方程，也即得到了这个神经网络训练出来的最优模型。

:= 同步更新  

记得同步更新  

逻辑回归梯度下降

梯度下降：调整W和b的值