激励函数的种类

激励函数的作用是提供规模化的非线性化能力。

三种激励函数：

1. Sigmoid。优点，整个区间内可导，缺点，非中心对称，在值非常大或者非常小时，变化不明显。

2. tanh。缺点，在值非常大或者非常小时，变化不明显。

3. ReLU。广泛使用的。
   

激励函数的作用是提供规模化的非线性能力

激励函数图

Sigmoid函数：f(x)=1/[1+e^(-x)]    //在进行1或0的判断时使用，在整个区间段都是可导的；

tanh函数：f(x)=[e^x-e^(-x)]/[e^x+e^(-x)]  // 在标注不好的情况下可尝试使用；

ReLU函数：f(x)=max(0,x)  // 默认函数

Sigmoid函数：f(x)=1/[1+e^(-x)]    //在整个区间段都是可导的；

tanh函数：f(x)=[e^x-e^(-x)]/[e^x+e^(-x)]

ReLU函数：f(x)=max(0,x)  // 默认函数

f(x)=1/[1+e^(-x)]    //在整个区间段都是可导的

三种激励函数：

1，Sigmoid函数，当x趋向于负无穷时，函数趋向于0；当x趋向于正无穷时，函数趋向于1.

优点是：在整个区间上是可导的。

缺点是：不是以原点对称的，对称点是（0,0.5）。使用其做完函数计算后，

经常需要再做一步数据中心化。

2，tanh函数

激励函数是对大脑中传递介质的模拟，非线性的变化

Sigmoid tanh ReLU

2.1sigmoid （0-1）优势：整个函数可导，后期反向传播

                               缺点：对称点：0.50（数据中心化）-》tanh

  趋向比较小或比较大时，变化平缓

 2.2ReLU

激励函数：

作用：提供规模化的非线性能力

包括：Sigmoid、tanh、ReLU等

Sigmoid函数适用于结果为判断是非的场合，但由于其对称中心在(0, 0.5)，还需要进行数据中心化，由此提出了其改进函数tanh

Sigmiod和tanh的缺点是当数值很大或很小时，结果变化比较平缓，由此提出了ReLU函数，

激励函数的作用是提供规模化的非线性化能力，模拟神经元被激发后非线性状态的变化。

Sigmoid：区间[0,1]

优点：整个区间段可导。

缺点：不是原点中心对称，对称点(0,0.5)-->数据中心化(0,0)

tanh：区间[-1,1]

优点：sigmoid函数平移后得到，中心对称。

激励函数：Sigmoid, tanh, ReLU

常用激励函数，ReLU为默认函数

激励函数作用

常用激励函数：

激励函数的作用：提供规模化的非线性化能力

常用的激励函数

sigmoid

tanh

ReLU

三种激励函数：
1，Sigmoid函数，当x趋向于负无穷时，函数趋向于0；当x趋向于正无穷时，函数趋向于1.

优点是：在整个区间上是可导的。

缺点是：不是以原点对称的，对称点是（0,0.5）。使用其做完函数计算后，

经常需要再做一步数据中心化。

2，tanh函数

将Sigmoid函数平移后，产生以（0,0）点中心对称的函数tanh函数。

两个函数的缺点：

当数据极大、或者极小时，函数变化比较平缓。从图中也能看出来。

函数变化比较小，神经网络的效能受到影响。如果网络比较大，

则训练周期就会比较长。

3，ReLU函数，近几年出现的线性函数。效率比较高。很多机器学习的框架，默认使用该函数。

sigmoid是非对称的

激励函数的作用是提供规模化的非线性化能力

1. 激励函数是对大脑中传递介质的模拟，非线性的变化

2. Sigmoid tanh ReLU

   2.1sigmoid （0-1）优势：整个函数可导，后期反向传播

                                  缺点：对称点：0.50（数据中心化）-》tanh

     趋向比较小或比较大时，变化平缓

    2.2ReLU

三种激励函数：Sigmoid，tanh，ReLU

激励函数：

作用：提供规模化的非线性能力

包括：Sigmoid、tanh、ReLU等

Sigmoid函数适用于结果为判断是非的场合，但由于其对称中心在(0, 0.5)，还需要进行数据中心化，由此提出了其改进函数tanh

Sigmiod和tanh的缺点是当数值很大或很小时，结果变化比较平缓，由此提出了ReLU函数，

而ReLU函数作为最普遍使用的激励函数，我们有时会使用斜率为负但是绝对值比正数小的线

激励函数的作用是提供规模化的非线性化能力，模拟神经元被激发后非线性状态的变化。

Sigmoid：区间[0,1]

优点：整个区间段可导。

缺点：不是原点中心对称，对称点(0,0.5)-->数据中心化(0,0)

tanh：区间[-1,1]

优点：sigmoid函数平移后得到，中心对称。

缺点：趋向于较大或较小时，导数为0，函数变化平缓，神经网络学习效率受影响，学习周期变长。

ReLU（较为普遍）：

缺点：小于0时，导数为0，出现问题-->可改为斜率较小的斜线

激励函数：

sigmoid, tanh: 缺点是当数值很大或很小时，结果变化比较平缓 

ReLU: 常用, 可將0改至其他比較少的數值

激励函数：

作用：提供规模化的非线性能力

包括：Sigmoid、tanh、ReLU等

Sigmoid函数适用于结果为判断是非的场合，但由于其对称中心在(0, 0.5)，还需要进行数据中心化，由此提出了其改进函数tanh

Sigmiod和tanh的缺点是当数值很大或很小时，结果变化比较平缓，由此提出了ReLU函数，ReLU是最常用默认的一种激活函数

提供规模化的非线性能力

激励函数

ReLU函数是目前神经元首选

激励函数的作用