人工智障学习笔记——机器学习(9)最大期望算法-原创手记-慕课网

一.概念

最大期望算法，也就是著名的em算法，他起源于一条dog

没错，就是这个

好吧不扯蛋了，em算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，用于含有隐变量（latent variable）的概率参数模型的最大似然估计或极大后验概率估计。在机器学习中，最大期望（EM）算法用于在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。

最大似然估计：

这个概念解释起来非常简单，就是你调皮捣蛋天天搞事，别人家孩子学习优秀各种听话。所以一旦说出个什么坏事家长们总是认为是你干的，因为你之前干坏事的概率比较大。这是一个比较通俗的栗子，更装逼的解释请参考百度百科。

二.算法

最大期望算法经过两个步骤交替进行计算：
第一步是计算期望（E），利用概率模型参数的现有估计值，计算隐藏变量的期望；
第二步是最大化（M），利用E 步上求得的隐藏变量的期望，对参数模型进行最大似然估计。
M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。
总体来说，EM的算法流程如下：
1.初始化分布参数
2.重复直到收敛：
E步骤：估计未知参数的期望值，给出当前的参数估计。
M步骤：重新估计分布参数，以使得数据的似然性最大，给出未知变量的期望估计。

通过交替使用这两个步骤，EM算法逐步改进模型的参数，使参数和训练样本的似然概率逐渐增大，最后终止于一个极大点。直观地理解EM算法，它也可被看作为一个逐次逼近算法：事先并不知道模型的参数，可以随机的选择一套参数或者事先粗略地给定某个初始参数λ0 ，确定出对应于这组参数的最可能的状态，计算每个训练样本的可能结果的概率，在当前的状态下再由样本对参数修正，重新估计参数λ，并在新的参数下重新确定模型的状态，这样，通过多次的迭代，循环直至某个收敛条件满足为止，就可以使得模型的参数逐渐逼近真实参数。
EM算法的主要目的是提供一个简单的迭代算法计算后验密度函数，它的最大优点是简单和稳定，但容易陷入局部最优。

三.实现

模拟2个正态分布的均值预计：

import mathimport copyimport numpy as npimport matplotlib.pyplot as pltisdebug = True# 指定k个高斯分布參数。这里指定k=2。注意2个高斯分布具有同样均方差Sigma，分别为M1,M2。def getdataSet(Sigma,M1,M2,k,N):dataSet = np.zeros((1,N))for i in range(N):if np.random.random(1) > 0.333:dataSet[0,i] = np.random.normal()*Sigma + M1else:dataSet[0,i] = np.random.normal()*Sigma + M2if isdebug:print ("dataSet:",dataSet)return dataSet# E算法：计算期望E[zij]def E(Sigma,dataSet,Miu,k,N):Exp = np.zeros((N,k))Num = np.zeros(k)for i in range(N):Sum = 0for j in range(k):Num[j] = math.exp((-1/(2*(float(Sigma**2))))*(float(dataSet[0,i]-Miu[j]))**2)Sum += Num[j]for j in range(k):Exp[i,j] = Num[j] / Sumif isdebug:print ("Exp:",Exp)return Exp# M算法：最大化E[zij]的參数Miudef M(Exp,dataSet,k,N):Miu = np.random.random(2)for j in range(k):Num = 0Sum = 0for i in range(N):Num += Exp[i,j]*dataSet[0,i]Sum += Exp[i,j]Miu[j] = Num / Sumreturn Miu#初始参数Sigma = 6M1 = -20M2 = 20k=2N=0xffffIter=0xffEPS =1e-6#随机初始数据dataSet=getdataSet(Sigma,M1,M2,k,N)#初始先假设一个E[zij]Miu = np.random.random(2)# 算法迭代for i in range(Iter):oldMiu = copy.deepcopy(Miu)#EExp = E(Sigma,dataSet,Miu,k,N)#MMiu = M(Exp,dataSet,k,N)#如果达到精度Epsilon停止迭代if sum(abs(Miu-oldMiu)) < EPS:if isdebug:print ("Iter:",i)breakplt.figure('emmmmm',figsize=(12, 6))plt.hist(dataSet[0,:],100)plt.xticks(fontsize=10, color="darkorange")plt.yticks(fontsize=10, color="darkorange")plt.show()

四.总结

EM算法思路非常简单，就是我们想估计A和B两个参数，在开始状态下二者都是未知的，但如果知道了A的信息就可以得到B的信息，反过来知道了B也就得到了A。可以考虑首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值，这个过程一直持续到收敛为止。
EM算法和K均值算法有些类似，都是数据存在一个或多个聚集中心点，在这个点附近，样本数量明显较多。K均值算法目的是寻找聚点，EM算法的目的是估计样本的概率分布等统计参数或数据。但如果数据分散，没有明显的聚点，或者数据呈现方式比较奇葩，那么K均值和EM算法就很难派上用场了。

https://www.cnblogs.com/slgkaifa/p/6731779.html

http://blog.csdn.net/zouxy09/article/details/8537620

人工智障学习笔记——机器学习(9)最大期望算法原创