文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 流形学习中非线性维数约简方法概述
侵权投诉

流形学习中非线性维数约简方法概述

较为详细地回顾了流形学习中非线性维数约简方法,分析了它们各自的优势和不足。与传统的线性维数约简方法相比较,可以发现非线性高维数据的本质维数,有利于进行维数约简和数据分析。最后展望了流形学习中非线性维数方法的未来研究方向,期望进一步拓展流形学习的应用领域。

维普资讯 doc.guandang.net

2 O

计算机应用研究

第 2卷 4

定义 1设是一个 H udr拓扑空间, a sof若对每一点 P 肘,都有 P的一个开邻域 U和 R中的一个开子集同胚,称则是 d维拓扑流形,简称 d维流形。假定妒( cR U)与 U同胚, 则 (妒称做流形的坐标卡, ( ) R U, )妒 P在中的坐标称为点 P 在上的坐标。

维数据空间存在环状流形,流形维数要小于嵌入空间维数;同时,给出了一种有效的环状流形发现方法,还以得到正确的低

维参数空间。何力等人提出了一种从方法因子和延伸方向 两方面显示出观测空间的高维数据与维数约简后的低维数据 之间的联系方法,且比较了 i ma并 s p和 L E方法的性能。 o L

有了对流形的定义,可以概括流形学习中维数约简过就程:假设数据是均匀采样于一个高维欧式空间中的低维流形, 流形学习就是从高维采样数据中恢复低维流形结构,即找到高维空间中的低维流形,并求出相应的嵌入映射,以实现维数约简或者数据可视化。流形学习是从观测到的现象中寻找事物 的本质,到产生数据的内在规律。找 维数约简数学定义如下:

Z ag hn等人提出了一

种局部切空间排列方法,通过逼近每一样本点的切空间来构建低维流形的局部几何,然后利用局部切 空间排列求出整体低维嵌入坐标。由于用于特征值分解的矩阵阶数等于样本数,样本集较大时将无法处理;此外,该方法不能有效处理新来的样本点。一种基于划分的局部切空间排列方法被提出以改善这些缺点。它建立在向量量化主成分分

析算法和 L S T A方法的基础上,解决了向量量化主成分分析算 法不能求出整体低维坐标和 L S中大规模矩阵的特征值分 TA 解问题,且实验证明能够有效处理新来的样本点。

定义 2给定 n个数据点: l=1…,,∈R}给 = , n i。,出映射f R一 R,<或者给出弱一些的结果 Y={ i :。 d< D; Y l= 1…,, R} d< , n Y∈。,<D。 自从 T n na m、R w i、Su eebu oe s al和 B lsba a i等 a u rm na a n

2流形学习中非线性维数约简方法 在流形学习中,多非线性维数约简方法属于谱方法许 (pcr to ) set l hd。谱方法主要利用流形的二阶特征来描述流 a me形的内在结构,要包括 MD、sm p L E、 s a L、主 S i a、 L HeS n L E o i Lpaine e m p、 S A等。谱方法将流形结构信息存放在 a l a i n as LT c g 一

人’相继发表关于流形学习的初步研究成果后,用流 利形特性进行维数约简的研究就成为热门的研究话题。早在 19 9 6年, aa等人就提出了高维图像具有低的内在维数的现 N yr象 J en等人从神经生理学的角度提出了感知以流形的。Su g形式存在,而从认知学的角度支持了图像空间是高维空从间中的流形这一观点。D nh等人还拓展了 L E方法,出 oo o L提 Hes nL E方法, si L a能够发现流形上局部的潜在等距映射参 数。张长水等人在 L E的基础上提出一种从低维嵌入空间向 L

个邻接矩阵中,通过对矩阵的谱分解得到高维数据的低维并 (u.f a pe非常困难。另外,一类方法大多需要手动选 ot - m l) os这

嵌入。谱方法的缺点在于通过已知数据集推广到未知数据择邻域大小和内在维数,这两个参数往往关系

到流形结构是否能被真实恢复。 2. MDS 1

高维空间映射的方法,在多姿态人脸图像的重构实验中并 得到有效的验证,一步完善了非线性维数约简方法。Wen进 i— bre等人在 L E方法的基础上,合流形的微分几何特征, e r g L结 发展出基于半定规划的流形方法 J适用于不同类型的流,

MD¨ S是一种传统的寻求保持数据点之间差异性 (或相似性 )的维数约简方法,它使得在原数据集中点经过变换后, 仍旧保留数据点之间的距离。通过适当定义准则函数来体现

形。B li ekn等人提出了 L paine emas1,成功地将其 al a i n p 1并 c g 7

应用于半监督的 Re an n i ni流形学习、规则化和部 m a 流形 分标记分类等方面。Z u等人将半监督思想与 G us n h a s a i rno f l合, adm e i d结显示了半监督流形学习的巨大发展前 景。R w i等人意识到以 i ma、 E L p ca iemas oe s s p L E、a l ine n p为 o a g

在低维空间中对高维距离的重建误差,对准则函数用梯度下降 法求解,于某些特殊的距离可以推导出解析解法。对 经典 MD S方法的主要步骤如下: a计算 S ) M…若 D=(, )则=。 d )=(, 2 b取矩阵 H=( ) h )∈M满足 h 一1 n=/。其中:是 K o ekr rnc e符号。 C计算 T D) ) (=一H H 2 M这步计算称为双中心化 S/ ( obecneig。 dul etr ) n

代表的维数约简方法只是对训练集中的样本给出嵌套空间中的位置,缺少从高维空间到低维空间的映射,并且依赖于点集之间的关系,对噪声非常敏感,特征值分解又加剧了这种不稳定性。因此,出了在局部空间学习一个线性映射,使用提并 E M算法解决优化问题。B adl续发展了这一思想, rn _ j继对流形上的邻域用 G us n分布建模, asa i并给出了闭合解的形式, 避免了效率低下的爬山方法。这一领域的巨大发展不仅引起了计算机科学研究人员的注意,同时也引起了数学家和物理学家的兴趣。普林斯顿大学的 C ii v等人将数据的维数约简 hg e r看做为数

据压缩的过程,用率失真定理将信息理论引入流形应学习框架,出了对流形的最优描述,仅完成了维数约简过提不程,同时揭示了流形的内部结构。由于已有的流形学习方法对噪声和参数都比较敏感,德川等人针对 i ma詹 s p方 o法,通过引入集成学习技术扩大了可以产生有效可视化结果的输入参数范围,并且降低了对噪声的敏感性。另外,连伟等赵人完善了 i ma s p的理论基础,出了连续流形与其低维参 o给数空间等距映射的存在性证明,区分了嵌入空间维数、并高维

d对 T(作奇异值分解 (ig l a edcm oio, ) D) s ua vl eo p si n r u tn S D) V。因为矩阵 T D) (对称,即有 T D)=U AU ( 。其中: U是 一

个正交矩阵;^是一个奇异值为从大到小排列的对角阵,且 e计算 Z ), U的前 d行和前 n列组成的,的取 A

对角线元素非负。 前 n行前 n列组成的 A M础,∈并对^开算术平方 (对角线元素依次取算术平方根 )^, z=^。得 而 2. I o ap 2 s m

Io p1 sma _方法是一个利用非线性的局部变量度量信息学习数据集的全局几何结构的方法,其突出的特点是用测地距离来度量高维空间中样本点之间的距离。I ma s p的主要思想是 o 首先计算流形上的测地线距离;然后利用 MD S方法,现嵌入发

数据的固有维数与流形维数这些容易混淆的概念;证明如果高

在高维空间的低维空间的低维坐标。这样 i m p就通过数据 s a o

流形学习中非线性维数约简方法概述

上一页第2页

你可能喜欢

  • 学习概述
  • 数据降维
  • 算法matlab代码
  • 奥数学习方法
  • 英语学习方法

热门文档

相关文档

  • 流形学习中非线性维数约简方法概述

    流形学习中非线性维数约简方法概述黄启宏 , 刘 钊 (电子科技大学 电子工程学院 , 成都 610054 ) 摘 : 较为详细地回顾了流形学习中非线性维数约简方法 ,分析了...

  • 基于流形学习的维数约简算法

    数据降维方法 21页 免费 计算机视觉课程-流形学习 43页 免费 流形学习概述 8...空间的低维光滑流形非线性维数约简算 法,包括等距映射、局部线性嵌入、拉普拉斯...

  • 基于流形学习的维数约简算法

    流形学习算法综述 5页 5财富值喜欢此文档的还喜欢 流形学习专题介绍 71页 ...非线性维数约简算 法通过 维数 约简能够 发现 不同类型非线 性高维数据的本质...

  • 流形学习概述

    结果表明 , 流形学习较之于传统的线性降维方法 , 能够有效地发现非线性高维数据的本质维数 , 利于进行维数约简和数据分 析 . 最后对流形学习未来的研究方向做出...

  • 流形学习专题介绍

    15 降维方法概述 ? 基于流形学习的非线性降维 ? 保距特征映射 (ISOMAP) [...流形学习的目的 ?流形学习是一种非线性的维数约简方法 ?高维观察数据的变化模式...

  • 流形学习中的算法研究

    详细介绍了一种新的机器学习的方法——流形学习。流形学习是一种新的非监督学习方法,可以有效地发现高维非线性数据集的内在维数并进行维数约简,近年来越来越受到...

  • 流形学习问题总结

    ?几种流形学习算法简介:LLE, Isomap, Laplacian Eigenmap. ?流形学习问题的简单...? 流形是一个局部可坐标化的拓扑空间. ? 流形学习是一种非线性的维数约简方法...

  • 流形学习专题介绍

    解决办法:选取尽可能多的, 可能有用的特征, 然后根据需要进 行特征/维数约简....15 降维方法概述基于流形学习的非线性降维保距特征映射 (ISOMAP) [Tenenbaum,...

  • 基于统计判据的非线性维数约简

    关键词:统计判据 非线性 维数 1/2 相关文档推荐 流形学习中非线性维数约简....(0007.6632) 作者简介 : 侯越先 (9217一 )男, 士, ,博 副教授 ,uj.d....

  • 流形学习专题介绍

    15 降维方法概述 ? 基于流形学习的非线性降维 ? 保距特征映射 (ISOMAP) [...流形学习的目的 ?流形学习是一种非线性的维数约简方法 ?高维观察数据的变化模式...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email