机器学习说难不难,说简单也不简单。跟着小蕉有饭吃。
今天分享的是机器学习里面一个寻找主要成分的算法,SVD (Singularly Valuable Decomposition) 奇异值分解。
首先寻找主要成分有什么最最最最主要的用处呢?
1、噪音过滤
2、数据压缩
奇异值分解,其实就是矩阵分解的一种,本次矩阵分解的模式是这样的,其中中间的 ∑ 就是奇异值矩阵。
假设A是一个m*n的矩阵,那么U就是一个m*m的,∑是一个m*n的,V是一个n*n的,这样子就可以将目标矩阵A用三个矩阵相乘来表示了。
而经过实验,我们发现 ∑ 的奇异值其实并不是每一个值都是很大的,一般取 Top r 个就足以表示这整个矩阵了。
所以得出了下面这么一个不等式。
(r是一个远小于m,n的数)
这时候矩阵所占的容量从m*n变为m*r+r*r+r*n,因为Σ是奇异值大小排列取前 r 个的,所以就做到了提取主要成分的效果,而因为容量变小了,所以也起到了压缩的作用。
好,原理是怎样已经解释清楚了,那么问题来了,这个奇异值要怎么求呢?老司机告诉我们,就这样分五步走。
1、进行矩阵变换,从A变为
2、求特征值λ,特征向量v。
3、奇异值σi为
4、左奇向量值U等于特征向量v。
5、右奇异向量值V为 1/σi * (A * vi)
当然你要是不会算,也没关系,作为手残党我自己也经常算不出来。已经有很多现成的库帮我们计算好了,并不需要我们自己算,比如sklearn里面的长这样。
from sklearn.decomposition import TruncatedSVD X = something svd = TruncatedSVD(n_components=2) X_reduced = svd.fit_transform(X)
又比如Spark里面是这样玩的。
val mat:RowMatrix = new RowMatrix(dataRDD) val svd: SingularValueDecomposition[RowMatrix,Matrix] = mat.computeSVD(2,computeU = true) val U:RowMatrix = svd.U //U矩阵 val s:Vector = svd.s //奇异值 val V:Matrix = svd.V //V矩阵
好了,今天就分享到这~掰掰~