线性与非线性之间多了一个激活函数

不同的激活函数效果不同

relu的结果比较“生硬”

tanh的结果绘制的曲线能够更好的贴合

• softmax: 在多分类中常用的激活函数，是基于逻辑回归的。

• Softplus：softplus(x)=log(1+e^x)，近似生物神经激活函数，最近出现的。

• Relu：近似生物神经激活函数，最近出现的。

• tanh：双曲正切激活函数，也是很常用的。

• sigmoid：S型曲线激活函数，最常用的。

• hard_sigmoid：基于S型激活函数。

• linear：线性激活函数，最简单的。

1.非线性指的就是不是一条直线，可能是一条曲线，比如说二次、三次、对数等等。  

2.本身神经网络是不包含非线性的，可以通过添加层数和激活函数来非线性化。

3.y_data = np.square(x_data) + noise   # 这个和线性回归不一样

model = Sequential()

model.add(Dense(5, input_shape=(1,), activation='tanh'))

model.add(Dense(1))

model.compile(optimizer=SGD(), loss='MSE')