较为详细地回顾了流形学习中非线性维数约简方法,分析了它们各自的优势和不足。与传统的线性维数约简方法相比较,可以发现非线性高维数据的本质维数,有利于进行维数约简和数据分析。最后展望了流形学习中非线性维数方法的未来研究方向,期望进一步拓展流形学习的应用领域。
维普资讯 doc.guandang.net
第2 4卷第 1期 1 20 0 7年 1 1月
计算机应用研究 Ap l a i n Re e r h o mp t r p i t s a c fCo u e s c o
V0 . 4 No 1 12 . 1 NO .2 0 V 07
流形学习中非线性维数约简方法概述 黄启宏,刘钊 (电子科技大学电子工程学院,成都 605 ) 10 4摘要:较为详细地回顾了流形学习中非线性雏数约简方法,分析了它们各自的优势和不足。与传统的线性维
数约简方法相比较,以发现非线性高维数据的本质维数,可有利于进行维数约简和数据分析。最后展望了流形
学习中非线性维数方法的未来研究方向,期望进一步拓展流形学习的应用领域。 关键词:维数约简;流形学习;多维尺度;等距映射;拉普拉斯特征映射;局部线性嵌入;局部切空间排列 中图分类号:T 3 1 P9 文献标志码:A 文章编号:10—65 20 ) 10 1—7 0 139 (07 1-0 90
O e ve fn n ie rd me so ai e u t n meh d n ma i l e r ig v r iw o o l a i n in l y r d ci to si nf d la nn n t o o H A G Q—o g LU Z a U N i n, I ho h ( colfEet n n i en Sho o l r i E gn rg,U i rt l t n c ne Tcnl yo hn, hnd 10 4, hn ) coc ei nv syo Ee r i Si c& ehoo C ia C eg u60 5 C ia ei f c oc e g f Ab ta t A eald rtop cinwa d n n nie rdme s n i e u t nmeh d n ma i l er ig sr c: d ti erse t sma eo o l a i n i a t rd ci to si nf dlann,wh s d e o n ol y o o oea— v na e n e e t r on e u e p c iey a tg sa d d f cswee p it d o t s e t l .C mp r d w t r dt n ll e t o r v o a e i ta i o a i a me h d,n n i e i n in l y r d c h i nr o l a dme s ai e u - nr o t t n meh d n ma i l e r i
g c ud d s o e h nrn i i n in fn n ie ih d me so a aa e fcie y ep i t o s i n f d l a nn o l ic v rt e i tisc d me so s o o l a hg . i n in d t f t l .h l o o nr l e v r s a c e e u e dme s n i n n y e aa b t r F n l,t e p o p c o o l e i n i n i e u t n me e e r h rt r d c i n i a t a d a a z rd t e t . i a y h r s e t fn n i a d me so a t r d ci — o ol y l e l nr l y o
t o si n fl an n a i u s d,S st xe d t e a p iain a e fma i l a n n . h d n ma i d l r i g w sd s se o e c O a o e tn h p l t ao nf d l r ig c o r o e
Ke r s dm ni a r ut n a il erig ut i es n cl g M S;i m p al i i n a; ywod: i es n e ci;m nf d l nn;m ldm ni a sa n ( D ) s a;Lpa a eg m p ol d o o a i ol i o c n e l al l e m e d g L E;oa t gn saeai m n( T A) ol y i a e bd i ( L ) l la et pc l n e tL S c nr n c n g
维数约简方法的基本原理是将样本从输入空间通过线性
对应的基于核的非线性维数约简方法, K C 、 I A】 如 PA KC _、 KFDA _】 KS OM【引 l 、、
或非线性映射到一个低维空间,而获得一个关于原数据集紧从致的低维表示。传统的线性维数约简方法具有简单、易解释和可延展等优点,使其在高维数据处理中成为一个主要研究方 向。已有的线性维数约简方法主要包括主成分分析 ( r c a pi i np l cm oe t a s,C )、 o pnn l i P A…独立成分分析(n eed n cm - n a ys i pn et o p d o nn aa s, A)、i e判别分析 ( i e i r iat n- et l i I Fs r ys C n h Fs rd c m nn aa h si l i,D 、 y sF A)主曲线 ( r c a c
re)、 s p ni l uvs投影寻踪 ( rjc i p poe- t n pr i P 、部线性投影 (oa l e r et n i us t P)局 o u, 1 l i a po ci, c nr j o L P以及基于神经网络的自组织映射 ( e - gnz gm p L) slo ai n a, fr i S M)7。这些方法实际是在不同优化准则之下, O j等寻求最佳线性模型的方法,这也是线性维数约简方法的共性。然而,随着信息时代的到来,不可避免地出现大量的高维非线性数据。 传统的线性维数约简方法难以直接用于分析来源于真实世界的高维和非线性数据。其主要原因有膨胀的维数导致计算量
核特征映射¨等。然而,基于核的方法
其难点在于如何选择一个合适的核函数。一个好的核函数可以使数据在特征空间上线性可分或者近似线性可分,但并不是 每个核函数对于每一种数据集都适用。核函数的选择反映了
人们对问题的先验,际的应用中往往是凭经验选择某种核在实 函数,如径向基函数 (ai ai fnt n R F。同时, r a bs ci, B ) dl su o在使用核函数时不必知道具体的特征空间,使得核函数方法缺乏物理直观,这也是核函数方法的一个缺点。后者就是近年发展起来 的基于流形学习的非线性维数约简方法,主要包括多维尺度方
法¨等距映射方法、、局部线性嵌入方法¨拉普拉斯特 、 征映射法 J局部切空间排列方法”、等。 流形学习中非线性维数约简方法与线性维数约简方法相比的一个显著特点是分析中的局部性。对数据集的内蕴结构
而言有如下特性:由泰勒定理,任何可微函数在一点的充分小的邻域内满足线性条件,形象地说,为曲面流形由大小不一认的局部线性块拼接而成;数据流形经常是由许多可分割的子流形所组成;数据流形的本征维数沿着流形不断地发生变化,只 有局部性才能抓住其根本特性。
迅速上升;高维导致样本数相对较少,使得某些统计上的渐近性质受到破坏;传统方法在处理高维数据时不满足稳健性要求 等。因此,研究高维非线性数据面临诸多困难 _。这主要是 8 J
高维带来了数据的稀疏和维数灾难,而非线性使得现有的快速成熟的线性模型不再适用。目前主要存在两类非线性维数约 简方法,即
基于核的方法和基于流形的方法。前者利用 Mecr r e核及其对应的再生核希尔伯特空间(erd co e e Hlet rp u tnkr l i r o i n b
1流形定义和流形学习 流形是现代数学的概念,以将流形简单地理解为由可
s c, K S, p eR H )不用创建复杂的假设空间,过定义 M r r a通 e e核 _ ):, R确定的 (<Ⅳ) c厂 ( O∈ d<空间中的 d维曲面。下面 隐式地定义特征空间。因此大部分线性维数约简方法都有其 收稿日期:20 -9 2;修返日期:2 0 - 2 1 06 0 -7 0 6 1 -8作者简介:黄启宏( 94 )男( 17 -,回族 )湖南隆回人,士研究生,,博主要研究方向为图像边缘提取和图像噪声压抑 ( 9 h h ia cl c )刘钊 y7 q@¥ .o . a;’ l n n (9 2 )男, 14一,教授,博导,主要研究方向为图像采集/识别/压缩/存储、图像传输系统及纠错编码、数字视频和多媒体技术.
是流形的严格数学定义:

流形学习中非线性维数约简方法概述黄启宏 , 刘 钊 (电子科技大学 电子工程学院 , 成都 610054 ) 摘 : 较为详细地回顾了流形学习中非线性维数约简方法 ,分析了...
数据降维方法 21页 免费 计算机视觉课程-流形学习 43页 免费 流形学习概述 8...空间的低维光滑流形非线性维数约简算 法,包括等距映射、局部线性嵌入、拉普拉斯...
流形学习算法综述 5页 5财富值喜欢此文档的还喜欢 流形学习专题介绍 71页 ...非线性维数约简算 法通过 维数 约简能够 发现 不同类型非线 性高维数据的本质...
结果表明 , 流形学习较之于传统的线性降维方法 , 能够有效地发现非线性高维数据的本质维数 , 利于进行维数约简和数据分 析 . 最后对流形学习未来的研究方向做出...
15 降维方法概述 ? 基于流形学习的非线性降维 ? 保距特征映射 (ISOMAP) [...流形学习的目的 ?流形学习是一种非线性的维数约简方法 ?高维观察数据的变化模式...
详细介绍了一种新的机器学习的方法——流形学习。流形学习是一种新的非监督学习方法,可以有效地发现高维非线性数据集的内在维数并进行维数约简,近年来越来越受到...
?几种流形学习算法简介:LLE, Isomap, Laplacian Eigenmap. ?流形学习问题的简单...? 流形是一个局部可坐标化的拓扑空间. ? 流形学习是一种非线性的维数约简方法...
解决办法:选取尽可能多的, 可能有用的特征, 然后根据需要进 行特征/维数约简....15 降维方法概述基于流形学习的非线性降维保距特征映射 (ISOMAP) [Tenenbaum,...
关键词:统计判据 非线性 维数 1/2 相关文档推荐 流形学习中非线性维数约简....(0007.6632) 作者简介 : 侯越先 (9217一 )男, 士, ,博 副教授 ,uj.d....
15 降维方法概述 ? 基于流形学习的非线性降维 ? 保距特征映射 (ISOMAP) [...流形学习的目的 ?流形学习是一种非线性的维数约简方法 ?高维观察数据的变化模式...
热门文档