手记

机器学习虾扯淡之线性回归No.39

今天晚上,整理了一下线性回归的完整的数学推导过程以及应用。

0x00甩定义

首先什么是线性回归?

就是面包屑嘛,我们跟着一个一个面包屑走,然后duang~~在脑里脑补出一条路,然后预测下一个面包屑的位置。

"鲁迅曾经说过:世界上本没有路,走的人多了也就成了路,因为草长不起来。"

鲁迅:我没说过这句话。

线性回归就是要找出这条笔直的路,来拟合数据,然后预测未来。

“JoeJoe老师你这图好丑啊”

“你信不信我疼你一百次啊?!!”

假设我们有N个面包屑。N等于5.

小一  ( x1 , y1 ) 

小二  ( x2 , y2 )

小三  ( x3 , y3 )

小四  ( x4 , y4 )

小五  ( x5 , y5 )

怎么找到这条路呢?

思考人生ing。

啊啊啊啊,找路要紧找路要紧。

好了,就决定这条线,就

f(x) = wx + b

完美!!!完美符合一切情况。

(本文完)

等等等等,啥玩意叫完美符合一切情况?这尼玛啥也没干啊等于。w是几啊?b又是几啊?bbbbb就你bb。

好嘛。。

那我们肯定是误差越小越好,越符合情况越好啊。搬出小学课本查了查,嗯,最小二乘法。

简单来说,就是尽量让直线上预测的点跟实际的点欧拉距离最小。

啥玩意叫欧拉距离啊大蕉,你能不能别卖关子了?

就是我们现在所有说的空间距离,都是欧拉距离,比如,大蕉和小蕉,距离只有1毫米,这样。

也就是要这样。

L(w,b) = ∑ ( f(x) - y )^2

使上面这个值最小。

喔!!!!!我知道了,那这样就可以让曲线完美符合了。

知道你个大头鬼啦!!

作为一个小学生,我知道上面这个是一元二次方程,我直接抛物线求最小值就可以了。完美。

但是吖,我们生活中,遇到的可不仅仅是一元二次吖,可能是N元N次啊,你怎么求?

0x01求最优解

今天只介绍一种解法,就是梯度下降法。

我们定义一个学习率,也叫步长就是每一次走的步伐,步子大了会扯到什么你们自己知道的,我们叫做 α 。首先随便初始化一个w和b。

L(w,b) = ∑ ( f(x) - y )^2 = ∑ (wx + b - y) ^ 2

上面这里x和y都是已知的定值,所以直接代进去就可以求啦。

然后我们分别对w和b求导。

d(w) = dL / dw 

d(b) = dL / db

然后令w = w - α * d(w)   , b = w - α * d(b)

每次挪一步每次挪一步,总结找到一个局部最小值的,至于能不能找到全局最小值呢?

看运气,步子不要太大,不扯到,有可能可以喔。但是步子大了,又可能跳出局部最小值,找到另外一个局部最小值喔,万一找到了呢?

这里会有三种模式,上面说的是Batch - Gradiant Descent,批量梯度下降,也就是每次把所有的值都代进去算一遍。

第二种是 Stochastic - Gradiant Descent。随机梯度下降,每一次只代入一个值。随机算法随机解,解到哪里算哪里。

还有一种折中算法 Mini-Batch Gradiant Descent。小批量梯度下降。每次代入一小批,然后算一下。

第三种其实是最常用的。第一种把耗时太长,第二种吧太随机了。第三种,马马虎虎,多算几次还是能算好的。

谁叫人丑就要多学习呢?

0x01核函数

有时候我们会发现,这他妈直线哪能描述我的想法啊?不行,我要换,换换换。

我们可以这样,用一个叫核函数的东西,把低维的东西,映射到高维上。

map ( x , y ) =>  exp ( x , y)

啥叫映射呢?就我们反过来想。

你关上灯,然后拿起小电筒,照在墙上。

墙就是你这束三维的光在墙这个二维面上的投影。

反过来,我们人脑也可以用一个映射,把这个小投影,还原想象成这束三维的光。

哈?你问我这样做有什么用?

比如说,桌子上猪肉中间有一小块肥肉(二维问题),你要把他挑出来(分类),只能切一刀,还只能切直线,咋办?

机智的小蕉,会把猪肉提起来(变成三维的),然后横着一切,完美。最中间的肥肉就飞了飞了。

从分类来说。

有线性核,多项式核,高斯核,径向基核。

越复杂的核函数,越容易过拟合喔,小心为妙。

0x02正则化

我从两个方面来说这个东西吧,分别是防止过拟合要怎么办?以及为什么这样能防止过拟合。

好了,怕过拟合,咋办?加正则项咯。有这三种,可以单独用也可以打组合拳。

L0 = ||w||0        使得参数非零的个数最小 

L1 = ||w||1        使得参数的绝对值的和最小

L2 = ||w||2        使得参数的平方的和最小

这三个都可以防止过拟合,但是L0比较难受,是一个NP-Hard问题,所以一般都用L1或者L2。

好那我们要使得

 ||w|| <= C        也就是   ||w|| - C <= 0

C是某一个常数。这样怎么去求解呢?

拉格朗日乘子法。

不熟悉的小朋友自行度娘,简单来说就是把约束条件也丢到损失函数里边。

所以损失函数就变成了

L(w,b) = ∑ ( f(x) - y )^2 - λ * (||w|| - C)

然后跟上面一样去求最小值就可以啦。

下面这些听起来很炫酷的算法,其实就是加正则项啦

Lasso 回归 -> 加了L1正则项的线性回归

Ridge 回归 -> 加了L2正则项的线性回归

ElasticNet  -> 加了L1和L2正则项混合双大的线性回归

0x03结束语

就这样。不会写。哼,写什么都掉粉,你不分享一下吗?


0人推荐
随时随地看视频
慕课网APP