文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 高等教育 > 工学 > 混合高斯模型和EM算法
侵权投诉

混合高斯模型和EM算法

混合高斯模型和EM算法

混合高斯模型(Mixtures of Gaussians)和EM算法

这篇讨论使用期望最大化算法(Expectation-Maximization)来进行密度估计(density estimation)。

与k-means一样,

混合高斯模型和EM算法

给定的训练样本是

k-means

混合高斯模型和EM算法

的硬指定不同,我们首先认为

式分布,,

混合高斯模型和EM算法

其中后,

混合高斯模型和EM算法

满足多值高斯分布,即

。

,我们先从k

混合高斯模型和EM算法

个类别中按多项式分布抽取一个,

混合高斯模型和EM算法

,

混合高斯模型和EM算法

我们将隐含类别标签用表示。与是满足一定的概率分布的,这里我们认为满足多项,有k个值{1,…,k}

混合高斯模型和EM算法

。由

混合高斯模型和EM算法

可以选取。而且我们认为在给定此可以得到联合分布

混合高斯模型和EM算法

整个模型简单描述为对于每个样例

然后根据所对应的k

混合高斯模型和EM算法

个多值高斯分布中的一个生成样例,。整个过程称作混合高斯模型。

混合高斯模型和EM算法

和

混合高斯模型和EM算法

。最大似然估计为注意的是这里的

混合高斯模型和EM算法

仍然是隐含随机变量。模型中还有三个变量。对数化后如下:

混合高斯模型和EM算法

这个式子的最大值是不能通过前面使用的求导数为0的方法解决的,因为求的结果不是close form

混合高斯模型和EM算法

。但是假设我们知道了每个样例的,那么上式可以简化为:

混合高斯模型和EM算法

混合高斯模型和EM算法

这时候我们再来对和进行求导得到:

第1页

你可能喜欢

  • 高斯混合模型
  • 聚类算法
  • 高斯算法
  • excel数据
  • 算法研究

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email