情报理论与实践(ITA)
欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟
新写为:
J1=2maxtr(Sb-Sw)
(4)
利用加权矩阵缩放时保持不变的属性,在公式(4)中引入一个缩放参数μ。首先将数据转换到合适位置,然后利用它们重心周围相同类别点重建数据,此时,所有重心保持不变。因此Sb保持不变但Sw被重建。推导过程如下:
S'b==S'w=
=
c
同时最大化不同类的间隔。所以,可以转化为如下约束问题:
mintr{VT(XMXT-(Sb-μSw))V}
s.t.VTXXTV=nI
最小特征向量组成时,目标函数被最小化。2.4
LLDE算法描述LLDE算法总结如下:
ball步骤1:对任一数据点Xi,使用k近邻算法或ε-=Sb
T
(11)
可以证明,当V由上述广义特征值分解后得到的d个
∑n(m'
i
i=1c
i
-m')(m'i-m')-m)(mi-m)
T
T
∑n(m
i
i=1ni
算法获取它的k个近邻;
2
步骤2:利用公式εi(W)=argmin‖Xi-∑WijXj‖
j=1k
i
∑(X'
i=1ci=1
i
-m'i)(X'i-m'i)
i
计算每一个点Xi的重建权重,用来最小化点Xi线性重构
T
∑μ(X
-mi)(Xi-mi)=μSw(5)
误差;
步骤3:对所有点进行步骤1和步骤2操作以获得权重矩阵W;
步骤4:利用公式(1)构建矩阵M;
T
步骤5:构建矩阵D=XMX;
其中,μ记为重构系数,且μ>0。改进最大间隔标准可以通过公式(6)得到:
J2=maxtr(Sb-μSw)
(6)
用于分类的最优子空间可以通过寻找线性转换Y=UTX并最大化公式(6)得到。寻找分类的最优子空间可以通过最大化如下函数得到:
J3=tr{U(Sb-μSw)U}
2.3
判别特征提取
记Zd×n为转换矩阵,使用LLDE方法后的判别成分可Y-Z]以用[d×n表示。通过上述分析可以发现,原始LLE方法的线性近似利用最小重建误差探讨了一个线性子空间。此外,在归一化约束下,这种线性转换可以将点转换到随机地点,换句话说,对于LLE的线性近似可以提高数据判别能力。然而,投影不一定是最优的。同时,改进最大间隔标准能够为分类构建最优子空间。换句话说,如果线性化LLE得到的线性转换可以满足公式(7),数据判别能力将会大幅提高。因此,近似问题变为如下多目标最优化问题:
T
步骤6:分别计算类间散度Sb和类内散度Sw以及权重差Sb-μSw;
TT
步骤7:计算(XMX-(Sb-μSw),XX)的d个最
(7)
小广义特征值和相应的特征向量矩阵V,得到d维嵌入Y=VTX。
3
3.1
实验结果
数据选择和预处理
由于目前中文文本分类缺乏一个标准开放的分类测试
文档集,因此大部分中文文本分类研究者都是自己在网络上获取数据后进行文本分类实验,这也使得各分类算法和系统性能之间缺乏一定的可比性
[15]
。国内比较成熟的语
[16]
、《人民日报》标注语料料库有复旦大学文本分类语料库
库、哈尔滨工业大学信息检索研究室开发的语料库等
。
考虑到文本资源的大小、分类、特性,以及语料资源的易
{
mintr{VXMXV}maxtr{V(Sb-μSw)V}
T
TT
(8)
获取性,本文采用的是谭松波博士进行文本分类研究的语料资源
[17]
,在本数据集中,特征项为72641。鉴于数据的
此处对LLE有两个约束
VTXXTV=nI,Yd×nen=0d
(9)
其中,第二个约束用于去除转换自由度,此转换提高了原始LLE分类能力。公式(8)可以重新格式化为如下约束最优化问题:
高维特征对文本分类的训练时间、分类精确度的显著影响,首先对数据集进行预处理。本实验利用WEKA软件,采用特征频度表示特征项,利用信息增益的方法进行特征选择,最终按权值由大到小排序,取前1000个特征项作为最终的子特征项集。3.2
(10)
基于KNN分类器的实验
在本实验中,选择样本集中的两类:财经、地域,每类100个样本,利用LLDE方法进行实验。现有的文本分
[18][19]
类器主要有KNN,支持向量机(SVM)等。本研究
{
mintr{VXMXV}maxtr{VT(Sb-μSw)V}s.t.VTXXTV=nI
TT
约束多目标最优化函数主要目的是最小化重构误差,
·第37卷2014年第2期·—133—
其研究成果已经广泛 应用于网页检索和文本分类、数字...算法基础上改进的自训练算法, 基于产生式模型的算法...局部线性回归模型构建的具体步骤如下 1从嵌入矢量训练...
( 1. 中国电子科技集团公司 第二十八研究所 ,南京...因此在 实验部分将选取文本数据集以验证本文算法 。...分类精度比较 第 10 期 崔自峰等 : 基于线性判别...
为了解 决 PCA 算法不利于分类的问题,提出了线性判别分析(LDA)算法。 1.2 基于线性判别分析(LDA)的人脸识别 线性判别分析(LDA)是基于统计学算法中另一经典算法...
该文提出了一种基于马氏距离的线性判别分析分类算法,选取判别函数为马氏距离,可以...嵌入播放器: 普通尺寸(450*500pix) 较大尺寸(630*500pix) 预览复制 收藏此文档...
给定分类体系下, 根据文本内容自动判别 , 文本类别...网络可以充分逼近任意复杂的非线性关系, 适于分类曲面...算法, 它基于对相对词频的计算: 特征词条在某文档...
基于Fisher线性判别模型的文本特征选择算法_专业资料。在采用向量空间模型表示方法的文本分类系统中,维数约简是必要的步骤,特征选择方法由于计算复杂度较低而被广泛采用...
结合相应算法而得出的判 别式或判别规则 , 然后再应用于新的待测文本 , 根 ...1. 3 特征提取 SVM 是从线性可分情况下的最优分类面发展 而来的, 基本思想...
基于小样本条件下线性判别分析图像增强算法研究_数学_自然科学_专业资料。第1 3卷 第 6期 201 3年 2月 科 学 技 术 与 工 程 V01.13 No.6 Feb.2Ol3...
离散粒子群优化-贝叶斯线性判别分析算法用于视觉事件相关电位P300的分类_专业资料。P300在头皮上的导联位置并不明确,目前对P300的分类研究中,采用的电极组合各不相同,...
基于 改进 的P A算 法和 Fse线性 Cirh 判别 的掌纹识别研究 李静雯 ( 四川理工学院计算机 学院, 四川 自贡 630)400 摘要: 掌纹识别技术是生物特征 识别技 ...
热门文档