文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 修正Gibbs采样的有限混合模型无监督学习算法
侵权投诉

修正Gibbs采样的有限混合模型无监督学习算法

修正Gibbs采样的有限混合模型无监督学习算法

第43卷第2期2009年2月

西安交

通

大

学学

报

V01.43N02

JOURNAI。OFXI7ANJIAOTONGUNIVERSITY

Feb.2009

修正Gibbs采样的有限混合模型无监督学习算法

刘伟峰,韩崇昭,石勇

(西安交通大学电子与信息工程学院,710049,西安)

摘要:针对传统有限混合模型无监督学习算法不能处理参数维数变化的问题,提出了一种基于修

正Gibbs采样的无监督学习算法.该算法的关键是,在每一次完全采样之后引入分布元的合并和剔除技术,即将利用均值、协方差矩阵差值的2范数作为合并的判断准则,最小且小于阂值的分布元权重作为剔除规则.仿真实验表明,所提算法对于参数初值的选择是不敏感的,对于分布元个数的先验信息要求得更少,它不仅可以处理维数变化问题,而且不必计算跳变概率,同时能够很好地估计出分布元个数及其参数.

关键词:无监督学习;有限混合模型;参数维数变化;跳变;分布元管理中图分类号:TP391

文献标志码:A文章编号:0253—987X(2009)02—0015—05

UnsupervisedLearningforFinite

MixtureModels

Via

Modified

GibbsSampling

LIUWeifeng,HANChongzhao,SHIYong

(Sch00lofElectronicsandInformationEngineering.Xi’all

JiaotongUniversity,Xi7an710049,China)

Abstract:SincetheconventionaIalgorithm

can

not

dealwiththevariableparameterdimensionin

theunsupervisedlearningoffinitemixturemodels(FMM),anunsupervisedlearningalgorithm

based

to

on

themodifiedGibbssamplingschemeisproposed.Thekeyfortheproposedalgorithmis

adoptthecomponentmanagementtechniquesthatincludecomponentcombinationandelimina—

tionaftereachcompleteiterativestep.The2一normofthedifferencesinthemeanandcovariance

are

usedforthecomponentcombinationrule,andthecomponenteliminationruleiSthatthecorn—

ponentthathastheleastweightandiSlessthancertainthresholdwillbediscarded.Simulation

resultsshowthattheproposedalgorithmisrobustfortheparameterinitializationandrequiresfe—

warpriorinformationforthenumberofcomponents.Theproposedalgorithm

can

dealwiththe

can

variabledimensionandavoidthecalculationofthejumpprobability.Moreover,itthenumberofthecomponentsandparameterseffectively.

Keywords:unsupervisedlearning;finitemixturemodel;parameter

componentmanagement

estimate

dimensionchange;jump;

有限混合模型(FMM)[1]可解决半参数建模问重.目前,主要有两种算法解决这个问题,一是期望

最大化(EM)算法,另一是Bayes随机采样算法.

题,在模式识别[2]、图像处理[33、人工智能、天文学等

方面得到了广泛的应用.

对于一组异质观察数据,即属于不同随机源的数据,每一个随机源称为一个分布元.FMM无监督学习的目标是估计这些分布元的参数以及混合权

EM算法用来解决极大似然准则下的参数估计问题,时至今日它仍然是FMM参数估计问题的标准

算法之一.但是,EM算法有两个不足之处,一是参数估计结果依赖于初值的选择,二是容易陷人局部

基金项日:

收稿日期:2008-05—16.作者简介:刘伟峰(1973一)。男,博士生;韩崇昭(联系人),男,教授.博士生导师.

国家自然科学基金资助项目(60574033,60602026);国家重点基础研究发展规划资助项目(2007CB311006).

万方数据

第1页

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email