图像,语音和文本
你可以这样理解:
因为权重是给定的,所以权重矩阵的分母之和是一个定值,除以它并不会对归一化的结果产生影响。
之前除以权重矩阵的分母之和是为了能够得到一个0~1之间的归一化值,忽略它的目的是为了使矩阵乘法比较容易辨认
不需要
正好对应于最开始的神经网络图,输入层、隐含层4个节点、输出层,由此,a对应应该是4*1矩阵。
有道理
j;;
公式是有问题,可能是怕看的人害怕所以简化了,毕竟只是一门理论常识课
leaky relu:
ai是(1,+∞)区间内的固定参数。
吴恩达的机器学习视频
https://study.163.com/course/introduction/1004570029.htm
指的矩阵,如果是4*1,指的是4行1列。如果是1*4指的是1行4列。
w是3行4列的,w转置后变成4行3列的,这时候输入的x是3行1列的,则w的转置乘以x变为4行3列乘以3行1列,则结果是4行1列,加上b为4行1列,则隐含层输出的是4行1列的值。
不知是否能听懂?
偏置参数
如果强行解释的话,你仔细看那堆公式,下面的点才是乘,我觉得这个*在这里表示除
可以根据y来进行反向传递来调整,我也不是看得很明白。多看几遍啦 。。。
这些自个儿看资料吧,当你做出来你就真正的理解了。
不是简单的平移
在一个神经元中f函数通常被称为激活函数(激励函数,传递函数) ,不同的叫法而已
应该错了
有意思