混合高斯模型和EM算法
混合高斯模型(Mixtures of Gaussians)和EM算法
这篇讨论使用期望最大化算法(Expectation-Maximization)来进行密度估计(density estimation)。
与k-means一样,

给定的训练样本是
k-means

的硬指定不同,我们首先认为
式分布,,

其中后,

满足多值高斯分布,即
。
,我们先从k

个类别中按多项式分布抽取一个,

,

我们将隐含类别标签用表示。与是满足一定的概率分布的,这里我们认为满足多项,有k个值{1,…,k}

。由

可以选取。而且我们认为在给定此可以得到联合分布

整个模型简单描述为对于每个样例
然后根据所对应的k

个多值高斯分布中的一个生成样例,。整个过程称作混合高斯模型。

和

。最大似然估计为注意的是这里的

仍然是隐含随机变量。模型中还有三个变量。对数化后如下:

这个式子的最大值是不能通过前面使用的求导数为0的方法解决的,因为求的结果不是close form

。但是假设我们知道了每个样例的,那么上式可以简化为:


这时候我们再来对和进行求导得到:
混合高斯模型(Mixtures of Gaussians)和EM算法_林学_农林牧渔_专业资料。混合高斯模型(Mixtures of Gaussians)和EM算法混合高斯模型(Mixtures of Gaussians)和 EM ...
混合高斯模型(Mixtures of Gaussians)和 EM 算法 JerryLead csxulijie@gmail.com 这篇讨论使用期望最大化算法(Expectation-Maximization)来进行密度估计(density ...
期望最大(EM)算法及其在混合高斯模型中的应用朱周华(西安科技大学通信与信息工程学院陕西西安710054) 摘要:将期望最太(EM)算法应用于混合高斯模型中。通过对算法的...
用于高斯混合模型参数估计的EM算法及其初始化研究_专业资料。基于有限混合模型的聚类是一种重要的聚类分析方法,而EM算法是混合模型参数估计的重要方法。传统的EM算法...
混合高斯模型(Mixtures of Gaussians)算法和EM算法_数学_自然科学_专业资料。混合高斯模型(Mixtures of Gaussians)和 EM 算法这篇讨论使用期望最大化算法(...
基于EM算法的高斯混合模型参数估计_专业资料。讨论在一般的混合分布条件下,用EM算法,在最小熵原理的优化准则下的数据拟合问题。简单推导有限混合高斯分布的EM算法....
一种基于高斯混合模型的改进EM算法研究_教育学/心理学_人文社科_专业资料。第3 4卷第 6期 201 3年1 1月 应 用 光 学 Vo1.34 NO.6 NOV.2O13 Journal...
EM算法用于高斯混合模型 11页 10财富值 高斯混合模型介绍 8页 免费搜你所想,读你所爱 拒绝盗版,营造绿色文库 如要投诉违规内容,请到百度文库投诉中心;如要...
c大EM算法及其在混合高斯模型中的应用_能源/化工_工程科技_专业资料。期望最大(EM)算法及其在混合高斯模型中的应用朱周华(西安科技大学通信与信息工程学院陕西西安...
EM算法用于高斯混合模型_自然科学_专业资料。模式识别机器学习方面相关的好资料,EM算法用于高斯混合模型EM 算法用于混合高斯模型的参数估计中国民航大学计算机学院,张...
热门文档