①课程介绍
课程名称：Python3入门机器学习 经典算法与应用 入行人工智能
课程章节：8-2；8-3；8-4
主讲老师：liuyubobobo
内容导读
- 第一部分 sklearn多项式回归和pipeline
- 第二部分 关于PoltnomialFeatures
- 第三部分 Pipeline
②课程详细
第一部分 sklearn多项式回归和pipeline
这一章我们使用sklearn库来快速使用多项式回归，
导入函数
import numpy as np
import matplotlib.pyplot as plt
初始化函数
X = np.random.uniform(-3, 3, size=100)
X = X.reshape(-1, 1)
y = 0.5 * X**2 + X + 2 + np.random.normal(0, 1, size=100).reshape(-1,1)
导入多项式回归
from sklearn.preprocessing import PolynomialFeatures
#用于初始化参数
对X添加了最多二次幂函数degree=2
并调用多项式
poly = PolynomialFeatures(degree=2)
poly.fit(X)
X_b_2 = poly.transform(X)
我们来观察一下数据
X_b_2[:10,:]
array([[ 1. , -0.89174859, 0.79521555],
[ 1. , 1.01673673, 1.03375357],
[ 1. , 2.75970041, 7.61594636],
[ 1. , 0.64729695, 0.41899335],
[ 1. , -1.79649753, 3.22740339],
[ 1. , -1.59572187, 2.5463283 ],
[ 1. , -0.54384566, 0.2957681 ],
[ 1. , -2.27008527, 5.15328715],
[ 1. , -2.01257247, 4.05044794],
[ 1. , 0.99735981, 0.99472659]])
可以看出它自动帮我们把X转化成了Xb，并且将第一个维度自动进行了平方，也就是对维度进行操作。
导入多项式函数并进行运算查看结果
from sklearn.linear_model import LinearRegression
lin_reg2 = LinearRegression()
lin_reg2.fit(X_b_2, y)
y_predict = lin_reg2.predict(X_b_2)
对X进行多项式回归
plt.scatter(X, y)
plt.plot(np.sort(X, axis=0), y_predict[np.argsort(X, axis=0)].reshape(-1,1), color='r')
plt.show()
可以看到多项式二次之后拟合地不错
查看拟合后的系数
lin_reg2.coef_
array([[0. , 0.93042221, 0.50934081]])
查看拟合后的截距
lin_reg2.intercept_
第二部分 关于PoltnomialFeatures
第二部分我们将对PoltnomialFeatures多项式回归具体情况进行查看，看看究竟是如何进行多项式回归的。
定义X数据并查看原始数据情况
X = np.arange(1,11).reshape(-1,2)
X
array([[ 1, 2],
[ 3, 4],
[ 5, 6],
[ 7, 8],
[ 9, 10]])
对X进行多项式回归，查看是什么结果
poly2 = PolynomialFeatures(degree=2)
poly2.fit(X)
X2 = poly2.transform(X)
X2.shape
(5, 6)
从2个维度变成6个维度，取出Xb的第一项，也就是2>>>5的维度增加
array([[ 1., 1., 2., 1., 2., 4.],
[ 1., 3., 4., 9., 12., 16.],
[ 1., 5., 6., 25., 30., 36.],
[ 1., 7., 8., 49., 56., 64.],
[ 1., 9., 10., 81., 90., 100.]])
D,X1,X2,X12,X1*X2,X22
六个维度的情况，
接下来进行三维的多项式回归
X = np.arange(1,11).reshape(-1,2)
poly3 = PolynomialFeatures(degree=3)
poly3.fit(X)
X3= poly3.transform(X)
查看变形之前的数据是怎么样的
X
array([[ 1, 2],
[ 3, 4],
[ 5, 6],
[ 7, 8],
[ 9, 10]])
查看变形之后的维度
X3.shape
(5, 10)
2>>>9
X3
array([[ 1., 1., 2., 1., 2., 4., 1., 2., 4.,
8.],
[ 1., 3., 4., 9., 12., 16., 27., 36., 48.,
64.],
[ 1., 5., 6., 25., 30., 36., 125., 150., 180.,
216.],
[ 1., 7., 8., 49., 56., 64., 343., 392., 448.,
512.],
[ 1., 9., 10., 81., 90., 100., 729., 810., 900.,
1000.]])
D,X1,X2,X3,X12,X1*X2,X22,X13,X12 *X2, X1 * X22 ,X23
观察出的结论，
第三部分 Pipeline
接下来就通过管道将多项式升维，归一化，线性回归，结合起来使用。
创造数据
X = np.random.uniform(-3, 3, size=100)
X = X.reshape(-1, 1)
y = 0.5 * X**2 + X + 2 + np.random.normal(0, 1, size=100).reshape(-1,1)
导入函数并加管道，格式如下，
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
poly_reg = Pipeline([
("poly",PolynomialFeatures(degree=4)),
("stand_scaler",StandardScaler()),
("lin_reg",LinearRegression())
])
对整合之Pipeline进行调用，很方便的使用fit和predict进行调用
%%time
poly_reg.fit(X, y)
y_predict = poly_reg.predict(X)
CPU times: total: 31.2 ms
Wall time: 7 ms
假如维度高了之后，可视化会有什么情况呢
plt.scatter(X, y)
plt.plot(np.sort(X, axis=0), y_predict[np.argsort(X, axis=0)].reshape(-1,1), color='r')
plt.show()
③课程思考
- 在对X进行升维，仅仅3就出现了10个维度，会非常的慢，需要进行数据归一化，然后送进线性回归。
- 升维假如不进行归一化的话，会导致数据间差距变得很大很大，这个情况在degree纬度高了之后更加地明显