文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > 基于局部线性判别嵌入算法的中文文本分类研究_6661446b_9dfc_4c55
侵权投诉

基于局部线性判别嵌入算法的中文文本分类研究_6661446b_9dfc_4c55

情报理论与实践(ITA)

欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟

新写为:

J1=2maxtr(Sb-Sw)

(4)

利用加权矩阵缩放时保持不变的属性,在公式(4)中引入一个缩放参数μ。首先将数据转换到合适位置,然后利用它们重心周围相同类别点重建数据,此时,所有重心保持不变。因此Sb保持不变但Sw被重建。推导过程如下:

S'b==S'w=

=

c

同时最大化不同类的间隔。所以,可以转化为如下约束问题:

mintr{VT(XMXT-(Sb-μSw))V}

s.t.VTXXTV=nI

最小特征向量组成时,目标函数被最小化。2.4

LLDE算法描述LLDE算法总结如下:

ball步骤1:对任一数据点Xi,使用k近邻算法或ε-=Sb

T

(11)

可以证明,当V由上述广义特征值分解后得到的d个

∑n(m'

i

i=1c

i

-m')(m'i-m')-m)(mi-m)

T

T

∑n(m

i

i=1ni

算法获取它的k个近邻;

2

步骤2:利用公式εi(W)=argmin‖Xi-∑WijXj‖

j=1k

i

∑(X'

i=1ci=1

i

-m'i)(X'i-m'i)

i

计算每一个点Xi的重建权重,用来最小化点Xi线性重构

T

∑μ(X

-mi)(Xi-mi)=μSw(5)

误差;

步骤3:对所有点进行步骤1和步骤2操作以获得权重矩阵W;

步骤4:利用公式(1)构建矩阵M;

T

步骤5:构建矩阵D=XMX;

其中,μ记为重构系数,且μ>0。改进最大间隔标准可以通过公式(6)得到:

J2=maxtr(Sb-μSw)

(6)

用于分类的最优子空间可以通过寻找线性转换Y=UTX并最大化公式(6)得到。寻找分类的最优子空间可以通过最大化如下函数得到:

J3=tr{U(Sb-μSw)U}

2.3

判别特征提取

记Zd×n为转换矩阵,使用LLDE方法后的判别成分可Y-Z]以用[d×n表示。通过上述分析可以发现,原始LLE方法的线性近似利用最小重建误差探讨了一个线性子空间。此外,在归一化约束下,这种线性转换可以将点转换到随机地点,换句话说,对于LLE的线性近似可以提高数据判别能力。然而,投影不一定是最优的。同时,改进最大间隔标准能够为分类构建最优子空间。换句话说,如果线性化LLE得到的线性转换可以满足公式(7),数据判别能力将会大幅提高。因此,近似问题变为如下多目标最优化问题:

T

步骤6:分别计算类间散度Sb和类内散度Sw以及权重差Sb-μSw;

TT

步骤7:计算(XMX-(Sb-μSw),XX)的d个最

(7)

小广义特征值和相应的特征向量矩阵V,得到d维嵌入Y=VTX。

3

3.1

实验结果

数据选择和预处理

由于目前中文文本分类缺乏一个标准开放的分类测试

文档集,因此大部分中文文本分类研究者都是自己在网络上获取数据后进行文本分类实验,这也使得各分类算法和系统性能之间缺乏一定的可比性

[15]

。国内比较成熟的语

[16]

、《人民日报》标注语料料库有复旦大学文本分类语料库

库、哈尔滨工业大学信息检索研究室开发的语料库等

。

考虑到文本资源的大小、分类、特性,以及语料资源的易

{

mintr{VXMXV}maxtr{V(Sb-μSw)V}

T

TT

(8)

获取性,本文采用的是谭松波博士进行文本分类研究的语料资源

[17]

,在本数据集中,特征项为72641。鉴于数据的

此处对LLE有两个约束

VTXXTV=nI,Yd×nen=0d

(9)

其中,第二个约束用于去除转换自由度,此转换提高了原始LLE分类能力。公式(8)可以重新格式化为如下约束最优化问题:

高维特征对文本分类的训练时间、分类精确度的显著影响,首先对数据集进行预处理。本实验利用WEKA软件,采用特征频度表示特征项,利用信息增益的方法进行特征选择,最终按权值由大到小排序,取前1000个特征项作为最终的子特征项集。3.2

(10)

基于KNN分类器的实验

在本实验中,选择样本集中的两类:财经、地域,每类100个样本,利用LLDE方法进行实验。现有的文本分

[18][19]

类器主要有KNN,支持向量机(SVM)等。本研究

{

mintr{VXMXV}maxtr{VT(Sb-μSw)V}s.t.VTXXTV=nI

TT

约束多目标最优化函数主要目的是最小化重构误差,

·第37卷2014年第2期·—133—

上一页第3页

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email