EM算法简介
contact: lad@newsmth
注意:这是一个非正式的简介,所以没有列出相关的参考文献。写EM简介的文章很多,我这里希望能对初学者有所帮助。水平有限,如有错误,敬请指正。
Expectation-Maximization (EM) 算法是一个在含有隐含变量的模型中常用的算法,最常见的是用于高斯混合模型 (Mixtures of Gaussians),但EM算法的应用决不仅仅限于此 。
, , ,…, , 。 , , 1,2,…, 是相互独立的。给定 ,考虑 的最大似然估假设我们要估计联合概率密度 , | ,其中 为可以观测的变量, 为隐含变量, 为参数。令计(Maximum Likelihood),也就是最大化下面式子:
写的更一般一些,可以为: | log∏ | ∑ log | ∑ ∑ , | .
| log | log∑ , | 。如果 是连续变量, | log , |
基本的EM方法:
假设 可观测,那么 | , log , | , 通常来说比较容易求解,特别是如果 , | 是指数族的情况下。
定义 函数, , | , | ,
E-step:Compute | , M-step: argmax ,
上述的EM算法虽然描述简单,但不是很直观,下面从另外一个角度来导出EM算法。 从优化的角度导出的EM算法:
首先介绍Jensen’s不等式:
假设 为凸函数函数(对于凹函数,不等号方向相反),(对于二阶可导的情况,可以考虑证明 Hessian矩阵是非负定的,一维情况 0), 对于随机变量 ,有 可以证明每次EM都可以使得 | 增加,保证收敛到局部极大值。
恒成立,等号成立当且仅当以 , 以概率1( 是常数)。如图1所示。
EM算法简介_计算机/互联网_科技_PPT专区。数据挖掘十大算法之一,大致介绍了下EM算法EM算法一种参数估计的方法——王永虎 提纲 EM来龙去脉 ? 高斯混合模型 ? 极大...
EM算法介绍_信息与通信_工程科技_专业资料。EM算法的介绍EM Algorithm Xiao Han, HP Labs artex.xh@gmail.com Ver.5.2008.10.31 Reference: Christopher M.Bis...
EM算法简介 尤全增 ultimateyou@gmail.com 1 提纲 ? ? ? ? ? 算法介绍 EM算法 GEM算法性质 EM算法解释 EM不足及改进 2 EM算法 ? 首先引入如下变量 定义两...
EM算法介绍_工学_高等教育_教育专区。介绍em算法的ppt统计自然语言处理基础第14章 聚类王建华 2007-09-07 1 提纲聚类概述用途 种类 “软”聚类,”硬”聚类 层级...
EM算法简介_数学_自然科学_专业资料。EM算法简介 成员:唐浩、俞文航、张亮、王朝阳 1 提纲 ? ? ? ? ? 算法介绍 EM算法 GEM算法性质 EM算法解释 EM不足及...
em算法简介 em算法的基本信息em算法的基本信息隐藏>> 什么是 EM 算法 EM 算法是机器学习中一个很重要的算法,即期望最大化算法,主要包括以 下两个步骤: E 步骤...
EM算法介绍 隐藏>> EM Algorithm Xiao Han, HP Labs artex.xh@gmail.com Ver.5.2008.10.31 Reference: Christopher M.Bishop, Pattern Recognition and Machine...
EM 是我一直想深入学习的算法之一, 第一次听说是在 NLP 课中的 HMM 那一...在 Mitchell 的书中 也提到 EM 可以用于贝叶斯网络中。 下面主要介绍 EM 的...
适用于初学者,介绍详细适用于初学者,介绍详细隐藏>> EM?算法? 备忘录,里面跳过部分的推导可以在参考文献找到 uingrd@gmail.com 1 问题定义随机信号生成器 模型参数...
热门文档