修正Gibbs采样的有限混合模型无监督学习算法
第43卷第2期2009年2月
西安交
通
大
学学
报
V01.43N02
JOURNAI。OFXI7ANJIAOTONGUNIVERSITY
Feb.2009
修正Gibbs采样的有限混合模型无监督学习算法
刘伟峰,韩崇昭,石勇
(西安交通大学电子与信息工程学院,710049,西安)
摘要:针对传统有限混合模型无监督学习算法不能处理参数维数变化的问题,提出了一种基于修
正Gibbs采样的无监督学习算法.该算法的关键是,在每一次完全采样之后引入分布元的合并和剔除技术,即将利用均值、协方差矩阵差值的2范数作为合并的判断准则,最小且小于阂值的分布元权重作为剔除规则.仿真实验表明,所提算法对于参数初值的选择是不敏感的,对于分布元个数的先验信息要求得更少,它不仅可以处理维数变化问题,而且不必计算跳变概率,同时能够很好地估计出分布元个数及其参数.
关键词:无监督学习;有限混合模型;参数维数变化;跳变;分布元管理中图分类号:TP391
文献标志码:A文章编号:0253—987X(2009)02—0015—05
UnsupervisedLearningforFinite
MixtureModels
Via
Modified
GibbsSampling
LIUWeifeng,HANChongzhao,SHIYong
(Sch00lofElectronicsandInformationEngineering.Xi’all
JiaotongUniversity,Xi7an710049,China)
Abstract:SincetheconventionaIalgorithm
can
not
dealwiththevariableparameterdimensionin
theunsupervisedlearningoffinitemixturemodels(FMM),anunsupervisedlearningalgorithm
based
to
on
themodifiedGibbssamplingschemeisproposed.Thekeyfortheproposedalgorithmis
adoptthecomponentmanagementtechniquesthatincludecomponentcombinationandelimina—
tionaftereachcompleteiterativestep.The2一normofthedifferencesinthemeanandcovariance
are
usedforthecomponentcombinationrule,andthecomponenteliminationruleiSthatthecorn—
ponentthathastheleastweightandiSlessthancertainthresholdwillbediscarded.Simulation
resultsshowthattheproposedalgorithmisrobustfortheparameterinitializationandrequiresfe—
warpriorinformationforthenumberofcomponents.Theproposedalgorithm
can
dealwiththe
can
variabledimensionandavoidthecalculationofthejumpprobability.Moreover,itthenumberofthecomponentsandparameterseffectively.
Keywords:unsupervisedlearning;finitemixturemodel;parameter
componentmanagement
estimate
dimensionchange;jump;
有限混合模型(FMM)[1]可解决半参数建模问重.目前,主要有两种算法解决这个问题,一是期望
最大化(EM)算法,另一是Bayes随机采样算法.
题,在模式识别[2]、图像处理[33、人工智能、天文学等
方面得到了广泛的应用.
对于一组异质观察数据,即属于不同随机源的数据,每一个随机源称为一个分布元.FMM无监督学习的目标是估计这些分布元的参数以及混合权
EM算法用来解决极大似然准则下的参数估计问题,时至今日它仍然是FMM参数估计问题的标准
算法之一.但是,EM算法有两个不足之处,一是参数估计结果依赖于初值的选择,二是容易陷人局部
基金项日:
收稿日期:2008-05—16.作者简介:刘伟峰(1973一)。男,博士生;韩崇昭(联系人),男,教授.博士生导师.
国家自然科学基金资助项目(60574033,60602026);国家重点基础研究发展规划资助项目(2007CB311006).
万方数据
针对有限混合模型无监督学习算法分布元个数未知,本文提出了一种基于BIC准则和Gibbs采样的无监督学习算法,通过Gibbs采样算法对混合模型的参数进行估计,进一步计算观测...
基于BIC准则和Gibbs采样的有限混合模型无监督学习算法_交通运输_工程科技_专业资料。针对有限混合模型无监督学习算法分布元个数未知, 本文提出了一种基于BIC 准则和...
基于Gibbs抽样算法的贝叶... 9页 1下载券 修正Gibbs采样的有限混合... 7...使用该模型的分布估计算法利用进化过程中有前途的优秀个体构造 出多个监督学习...
基于Gibbs抽样算法的面板... 27人阅读 6页 2.00 基于Gibbs抽样的红外成像... 2人阅读 7页 2.00等级反应模型的G...
针对生物序列模体的识别问题,提出了一个新的混合Gibbs抽样识别算法.算法基于混合模体模型学习,采用贪心策略,通过似然度最大化,逐次将新的模体加入到混合模型中....
基于Gibbs抽样的诊断贝叶... 20人阅读 3页 2.00 基于独立混合模型的EM...UHO NVRIY(AUA CEC DTO OUNLOFSZUUIESTNTRLSINEEIIN) j120u.01 基于E算法和Gib...
基于Gibbs采样与遗传算法的模体识别_专业资料。借鉴Gibbs采样思想,将序列峰值所对应的候选模体作为遗传算法的初始种群,提出一种改进的模体识别算法。将模体在序列...
修正Gibbs采样的有限混合模... 7页 免费 基于无监督学习算法训练径... 6页...而针对线性瞬时盲分离的研究 出现最早,模型最简单,目前得到的成果也是最多的。...
[3](2004)等,其中 MEME 算法与 Gibbs 采样算法是具有代 表性的方法[4] [...方法是与统计物理有关的一类重要随机方法, 广泛使用在贝叶斯推断和机器学习中。 ...
基于Gibbs抽样正态混合模型的参数估计_张香云_数学_自然科学_专业资料。理论新...算法完成了正态混合模型 的参数估计,Figueiredo 又用改进的 EM 算法对正态混合...
热门文档