文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然科学 > 数学 > EM算法简介
侵权投诉

EM算法简介

EM算法简介

contact: lad@newsmth

注意:这是一个非正式的简介,所以没有列出相关的参考文献。写EM简介的文章很多,我这里希望能对初学者有所帮助。水平有限,如有错误,敬请指正。

Expectation-Maximization (EM) 算法是一个在含有隐含变量的模型中常用的算法,最常见的是用于高斯混合模型 (Mixtures of Gaussians),但EM算法的应用决不仅仅限于此 。

, , ,…, , 。 , , 1,2,…, 是相互独立的。给定 ,考虑 的最大似然估假设我们要估计联合概率密度 , | ,其中 为可以观测的变量, 为隐含变量, 为参数。令计(Maximum Likelihood),也就是最大化下面式子:

写的更一般一些,可以为: | log∏ | ∑ log | ∑ ∑ , | .

| log | log∑ , | 。如果 是连续变量, | log , |

基本的EM方法:

假设 可观测,那么 | , log , | , 通常来说比较容易求解,特别是如果 , | 是指数族的情况下。

定义 函数, , | , | ,

E-step:Compute | , M-step: argmax ,

上述的EM算法虽然描述简单,但不是很直观,下面从另外一个角度来导出EM算法。 从优化的角度导出的EM算法:

首先介绍Jensen’s不等式:

假设 为凸函数函数(对于凹函数,不等号方向相反),(对于二阶可导的情况,可以考虑证明 Hessian矩阵是非负定的,一维情况 0), 对于随机变量 ,有 可以证明每次EM都可以使得 | 增加,保证收敛到局部极大值。

恒成立,等号成立当且仅当以 , 以概率1( 是常数)。如图1所示。

第1页

你可能喜欢

热门文档

相关文档

  • EM算法简介

    EM算法简介_计算机/互联网_科技_PPT专区。数据挖掘十大算法之一,大致介绍了下EM算法EM算法一种参数估计的方法——王永虎 提纲 EM来龙去脉 ? 高斯混合模型 ? 极大...

  • EM算法介绍

    EM算法介绍_信息与通信_工程科技_专业资料。EM算法的介绍EM Algorithm Xiao Han, HP Labs artex.xh@gmail.com Ver.5.2008.10.31 Reference: Christopher M.Bis...

  • EM算法简介

    EM算法简介 尤全增 ultimateyou@gmail.com 1 提纲 ? ? ? ? ? 算法介绍 EM算法 GEM算法性质 EM算法解释 EM不足及改进 2 EM算法 ? 首先引入如下变量 定义两...

  • EM算法介绍

    EM算法介绍_工学_高等教育_教育专区。介绍em算法的ppt统计自然语言处理基础第14章 聚类王建华 2007-09-07 1 提纲聚类概述用途 种类 “软”聚类,”硬”聚类 层级...

  • EM算法简介

    EM算法简介_数学_自然科学_专业资料。EM算法简介 成员:唐浩、俞文航、张亮、王朝阳 1 提纲 ? ? ? ? ? 算法介绍 EM算法 GEM算法性质 EM算法解释 EM不足及...

  • em算法简介

    em算法简介 em算法的基本信息em算法的基本信息隐藏>> 什么是 EM 算法 EM 算法是机器学习中一个很重要的算法,即期望最大化算法,主要包括以 下两个步骤: E 步骤...

  • EM算法介绍

    EM算法介绍 隐藏>> EM Algorithm Xiao Han, HP Labs artex.xh@gmail.com Ver.5.2008.10.31 Reference: Christopher M.Bishop, Pattern Recognition and Machine...

  • EM算法概述

    EM 是我一直想深入学习的算法之一, 第一次听说是在 NLP 课中的 HMM 那一...在 Mitchell 的书中 也提到 EM 可以用于贝叶斯网络中。 下面主要介绍 EM 的...

  • EM算法介绍

    适用于初学者,介绍详细适用于初学者,介绍详细隐藏>> EM?算法? 备忘录,里面跳过部分的推导可以在参考文献找到 uingrd@gmail.com 1 问题定义随机信号生成器 模型参数...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email