C o m p u t e r E n g i n e e r i n g a n d A p p l i c a t i o n s计算机工程与应用
基于最大后验估计的无监督聚类算法 赵晨阳,翟少丹,侣洁 ZHAO Che ny a ng , ZHAI Sh a od a n , SI J i e。
1 .西北大学数学系,西安 7 1 0 1 2 7 2 .西北大学信息与技术学院,西安 7 1 0 0 2 7 1 . De p a r t me n t o f Ma t h e ma t i c s, No r t h we s t Un i v e r s i t y, Xi’ a n 7 1 0 1 2 7, Ch i n a
2 . Sc h o o l o f I nf o r ma t i o n a n dT e c h n o l o g y, No r t h we s t Un i v e r s i t y, Xi’ a n 71 0 0 2 7 . Ch i n a
ZH AO Ch e n y a n g, ZH AI S ha o d a n,S I J i e . Un s u p e r v i s e d c l u s t e r i n g a l g o r i t h m ba s e d o n Ma x i mu m a Po s t e r i o r i . Co m pu t e r
En g i n e e r i n g a n d Ap p l i c a t i o n s, 2 0 1 3, 4 9 ( 1 9 ): 1 3 1 - 1 3 4 .
Ab s t r a c t:W h e n EM me t h o d I S u s e d t o e s t i ma t e t h e ma x i mu m l i k e l i h o o d o f mo d e l s . t h e me t h O d wi l l f a i l b e c a u s e o f t h e c o v a r i a n c e
ma t r i x b e c o me s i n g u l a r i t y ma t r i x . T h i s p a p e r r e p l a c e s t h e Ma x i mu m L i k e l i h o o d E s t i ma t i o n ( ML E) b y a Ma x i mu m a P o s t e r i o r i ( MAP )e s t i ma t o r ̄ B y u s i n g t h e i mp r o v e d BI C c r i t e r i o n a n d t h e mo d e l p a r a me t
e r e s t i ma t i o n a t t h e s a me t i me, i t c a n e n l a r g e t h e a r e a o f mo d e l s e l e c t i o n . Th e a l g o r i t h m i s e f f e c t i v e t o a v o i d s i n g u l a r i t y i n t h e i t e r a t i o n s, a n d u s e s t h e i mp r o v e d BI C c r i t e r i o n a n d t h e mo d e l p a r a me t e r e s t i ma t i o n a t t h e s a me t i me . F i n a l l y, t h e R s i mu l a t i o n r e s u l t s s h o w t h a t t h e p r o p o s e d a l g o r i t h m d e c r e a s e s t h e c a l c u l a t i o n, a n d i mp r o v e s t h e a c c u r a c y o f t h e c l u s t e r, i t a l s o h a s s t r o n g r o b u s t n e s s .
Ke y wo r d s: mi x t u r e mo d e l; E M a l g o r i t h m; Ma x i mu m a P o s t e r i o r i ( MAP ); mo d e l s e l e c t i o n; c l u s t e r i n g
摘
要:传统的基于 E M算法的聚类方法,当模型的某个高斯分量的协方差矩阵变为奇异矩阵时,会导致聚类失败。提出
在聚类过程中用最大后验估计 ( MA P )来代替极大似然估计 ( ML E );将一种改进的贝叶斯信息准则 ( B I C)与模型参数估计
同时处理,扩大了模型选择的搜索范围。该算法有效地避免了协方差矩阵在迭代中陷入奇异,并将参数估计和模型选择 同时进行通过 R软件进行仿真分析,结过表明改进的算法在减少计算量同时,提高了聚类的准确度,并具有鲁棒性。 关键词:混合模型; E M算法;最大后验估计 ( MA P );模型选择;聚类 文献标志码: A中图分类号: T P 3 1 1 d o i: 1 O . 3 7 7 8 ̄ . i s s n . 1 0 0 2— 8 3 3 1 . 1 2 0 1
. 0 1 9 0
混合模型为密度估计和聚类提供了一个严密的框架,
算法中将 ML E替换为 MAP估计,并用一种改进的 BI C准
基于有限混合模型的聚类方法受到了越来越多的重视和 关注。有限混合模型为一大类随机现象建立统计模型提
则( MB I C )作为模型评价的标准,且将此 MB I C与模型参 数估计同时处理,从而集成了 MML . E M算法中的优势。
供了一个基于数学的方法,并可以广泛应用于监督的和无 监督的聚类算法中n 。但是,在基于混合模型的聚类过程中仍然存在多方面的问题,例如:如何去估计混合模型的
数值实验表明, MA P . E M算法能很好地避免奇异情况的发 生,同时可以防止模型选择出现失败。
参数;当多元高斯分布的斜方差矩阵是正定时, E M算法的 迭代过程虽然可以保证似然函数良好的单调性,但是并不
1混合模型聚类算法基本原理 基于有限混合模型聚类的原理是采用若干个概率分
能保证该矩阵的正定性。 F i g u e i r e d o和J a i n提出了一种基于 MML准则的无监督
布的混合模型去拟合数据,其中每一分布描述一个类的特 点,从而实现聚类。相比于其他聚类算法,基于模型的聚
的E M算法 ( MML . E M),很好地解决了 E M算法的局部收敛以及确定分类个数的问题。但是, MML . E M算法在估计
类算法能够更灵活地在多种概率模型中选择合适的模型。 在基于模型的聚类中,数据 X=( X , X 一, x )被看做来自一个混合分布,则混合分布的密度函数可以表示为:
方差矩阵时会出现奇异,从而导致最大似然估计失败。 提出一种新的基于最大后验估计的聚类算法,在E M 基金项目:国家自然科学基金 ( No . 1 0 7 7 1 1 6 9 )。
作者简介:赵晨阳( 1 9 8 4一),女,博士研究生,主要研究方向为数据挖掘;翟少丹 ( 1 9 8 4一),男,硕士研究生,主要研究方向为人工智能。 E- ma i l: s t a r s t a r y a n g@1 6 3 . c o m
收稿日期: 2 0 1 2— 0 1 . 1 8 修回日期: 2 0 1
2— 0 4— 2 6 文章编号: 1 0 0 2 . 8 3 3 1 ( 2 0 1 3 ) 1 9— 0 1 3 1 - 0 4 C NKI出版日期: 2 0 1 2— 0 7— 0 3 h t t p:// www. c n k i . n e t/ k c ms/ d e t a i l/ 1 1 . 2 1 2 7 . T P . 2 0 1 2 0 7 0 3 . 1 6 2 8 . 0 3 9 . h t ml

即极大似然估计或极大后验似然估计。EM算法,又称期望最大算 法,就是作为一种...因此,从某 种角度看,聚类分析是一种无监督的学习过程,是基于观察的学习而不是...
[10]与分类器算法极为类似,只是它不需要训练样本,因此聚类是一种无监督 的 (... aussia 分布)按一定比例的混合,通过优化基于最大后验概率的目标函数来估计这几...
了解非监督学习方法对数据划分有 两种基本 方法。 掌握以k-均值算法,ISODATA...,Kc 2. 用Parzen方法估计各聚类的概率密度函数 3. 按照最大似然概率逐个对...
为了有效解决 这个问题,提出了一种新的基于模糊聚类分析的无监督学习算法,它利用...“最大后验概率”方法¨j、稀疏分解方法〔7〕、频域稀疏 表示方法¨〕、超...
直到 medoids 不再改变 3 EM Clustering Expectation Maximization (EM) clustering 最大期望聚类法是变种的 k-Means 算法,广泛 使用在非监督聚类的数据点密度估计...
无监督学习和聚类_计算机软件及应用_IT/计算机_...n k ?1 i k 迭代计算 K-均值聚类算法1( K-... 基于最大后验估计的无监... 暂无评价 4页 ...
基于EM的模糊方法 ?聚类评估 1 聚类分析的概念 ? ...3 有监督学习: classification 分类算法 训练集 NAME...它逼近统计模型参数的最大似 然或最大后验估计。 ...
第33卷第3期 南京理工大学学报(自然科学版) V01.33 No.3 基于无监督聚类算法的入侵检测王飞,钱玉文,王执铨(南京理工大学自动化学院,江苏南京210094) 摘要:...
提出了一种基于半监督聚类的异 常入侵检测算法 。...在同一聚类之间最大化 ,不同聚类之 间最小化 。...是一种非参数估计方法 , 存在着大 ( 1) ( 2)...
基于并行聚类算法的无监督异常检测研究_专业资料。为满足高效聚类大规模数据集的要求,该文提出一种基于k均值算法的并行聚类算法,该并行算法能使聚类时间随节点主机...
热门文档