如何兴起？

神经网络

主要功能：分类识别 

图像语音为密集型的矩阵，文本为稀疏型的矩阵

矩阵化/矢量化，图像语音矩阵中非零值居多，文本则是零值居多。文本还有一些预处理工作

图像：图像识别（自动驾驶）

语音：语音助手

文本：新闻推送

主要可用于分类

分类

寻找一个函数，实现分类

仿生学

神经网络分类   图像    语音  文本

激励函数的种类

逻辑回归梯度下降表达式

全部训练损失函数

单次训练损失函数

逻辑回归基本造型

网络结构，激励函数，损失函数，梯度下降

密集型矩阵，稀疏型矩阵

SGD Trainer

左侧为正向传播过程，右侧为调校参数过程

网络梯度下降反向传播，每一层都要求，一直到倒数第二层，最后一层输入的x不需要求。

大型神经网络

加入矩阵维度

输入->隐含->输出->结果值

:=的意思是同步更新

阿尔法是学习速率

什么是梯度下降？

通过一种渐近式的方式，来调整整个函数的形态

在这里决定函数样子的就是w和b，当然已经确定了激励函数的情况下

找到一个适合的w和b值：先正向计算一个y值，此时w和b是初始值，此y值和真实的y值会有差异，差异通过损失函数反馈出来，然后通过损失函数对w和b进行求导，可以得出损失函数的极小值，在求极小值的过程中调校w和b，在取得的损失函数极小值时的y值就和真实的y值差异最小。

全部训练损失：单次训练的加和平均化

学习值与原始值之间的差异性

y^是学习值，y是原始的标准值

激励函数的作用是提供规模化的非线性化能力。

三种激励函数：

1. Sigmoid。优点，整个区间内可导，缺点，非中心对称，在值非常大或者非常小时，变化不明显。

2. tanh。缺点，在值非常大或者非常小时，变化不明显。

3. ReLU。广泛使用的。
   

逻辑回归是一种最简化的网络结构

节点，层

和普通函数相比：

1. 结构的顺序性

2. 解决非线性问题，每一个神经元，将输入值进行线性组合，然后转化为非线性结果

四大模块

网络结构  激励函数

损失函数  梯度下降

神经网络主要功能：

激励函数的作用是提供规模化的非线性能力