手记

机器学习虾扯蛋之SVD奇异值分解No.48

机器学习说难不难,说简单也不简单。跟着小蕉有饭吃。

今天分享的是机器学习里面一个寻找主要成分的算法,SVD (Singularly Valuable Decomposition) 奇异值分解。

首先寻找主要成分有什么最最最最主要的用处呢?

1、噪音过滤

2、数据压缩

奇异值分解,其实就是矩阵分解的一种,本次矩阵分解的模式是这样的,其中中间的 ∑ 就是奇异值矩阵。

假设A是一个m*n的矩阵,那么U就是一个m*m的,∑是一个m*n的,V是一个n*n的,这样子就可以将目标矩阵A用三个矩阵相乘来表示了。

而经过实验,我们发现 ∑ 的奇异值其实并不是每一个值都是很大的,一般取 Top r 个就足以表示这整个矩阵了。

所以得出了下面这么一个不等式。

(r是一个远小于m,n的数)

这时候矩阵所占的容量从m*n变为m*r+r*r+r*n,因为Σ是奇异值大小排列取前 r 个的,所以就做到了提取主要成分的效果,而因为容量变小了,所以也起到了压缩的作用。

好,原理是怎样已经解释清楚了,那么问题来了,这个奇异值要怎么求呢?老司机告诉我们,就这样分五步走。

1、进行矩阵变换,从A变为  

2、求特征值λ,特征向量v。

3、奇异值σi为,Σ的值为λ组成的对角矩阵。

4、左奇向量值U等于特征向量v。

5、右奇异向量值V为  1/σi * (A * vi)

当然你要是不会算,也没关系,作为手残党我自己也经常算不出来。已经有很多现成的库帮我们计算好了,并不需要我们自己算,比如sklearn里面的长这样。

  from sklearn.decomposition import TruncatedSVD
  X = something
  svd = TruncatedSVD(n_components=2)   X_reduced = svd.fit_transform(X)

又比如Spark里面是这样玩的。

val mat:RowMatrix = new RowMatrix(dataRDD)    
val svd: SingularValueDecomposition[RowMatrix,Matrix] = mat.computeSVD(2,computeU = true)    
 val U:RowMatrix = svd.U //U矩阵
 val s:Vector = svd.s //奇异值
 val V:Matrix = svd.V //V矩阵

好了,今天就分享到这~掰掰~

0人推荐
随时随地看视频
慕课网APP