
西北大学学报(自然科学版)
2010年12月,第40卷第6期,Dec.,2010,Vo.l40,No.6JournalofNorthwestUniversity(NaturalScienceEdition)
文本案例相似度计算方法
赵晓慧,吴 江,董红妮,李彦粉,袁小蛟,张文明
(西北大学信息科学与技术学院,陕西西安 710127)
摘要:目的 针对常用的向量空间模型忽视了文本中的词序和结构信息,影响文本相似度计算的准确度的缺点,提出新的文本案例相似度计算方法。方法 将文本表示粒度由词提高到句子,加入词序信息。结果 提出了句子向量空间模型及基于该模型的文本案例相似度计算方法。结论 这种方法更符合人类理解的模式,提高了文本案例相似度计算的准确度。
关 键 词:句子向量空间模型;词序;相似度;文本案例分类;满意度
中图分类号:TP391 文献标识码:A 文章编号:1000 274 (2010)06 0991 04
Researchontextualcasesimilarityalgorithm
ZHAOXiao hu,iWUJiang,DONGHong n,iLIYan fen,
YUANXiao jiao,ZHANGWen ming
(CollegeofInformationScienceandTechnology,NorthwestUniversity,Xi an710127,China)
Abstract:Aim Thetraditionalalgorithmbasedonvectorspacemodelactuallyneglectsthewordorderandstruc
tureinsentences,whichwillaffecttheaccuracyofsimilaritycomputing.Sothispaperproposedanewtextualcasesimilarityalgorithm.Methods Thesentence,ratherthantheword,wasusedastheunitandthewordorderinfor mationwasconsidered,sentencevectorspacemodelwasproposed,whichisthebaseoftextualcasesimilarityalgo rithm.Results Themethodismoreconsistentwiththemodeofhumanunderstandingandimprovestheaccuracyoftextualcasesimilaritycompatation.Conclusion Theapplicationintextualcaseclassificationprovesthatthemeth odisfeasible.Keywords:sentencevectorspacemode;lwordorder;similarity;textualcaseclassification;satisfactiondegree 文本案例的表示是文本案例间相似度计算比较的基础,现今的文本表示及处理技术大多是以词为单位且基于向量空间模型的方法,该方法不考虑词在文本中出现的顺序,损失了大量的文本结构信息,导致计算出来的相似度不能很好地反映人们对文章
[1-3]
的理解。因此,以句子为单位来表示和处理文本的方法被提出,并成为一个重要的研究方向。文献[4]提出在句子相似度计算时通过关键词抽取、扩充同义词典和加大名词、动词在句子中的重要性提高了计算准确度。文献[5]提出在句子相似度计算过程中加入对句子中相同词性和同义词的统计,根据句子间相似度删除自动摘要中的冗余使之更为流畅,提高了自动中文文本摘要的质量。文献[6]
收稿日期:2009 03 11
基金项目:西北大学科研启动基金资助项目(PR08067);西北大学研究生自主创新基金资助项目(08YZZ35)作者简介:,女,,提出了以句子为单位来表示文档,用文本中句子的贡献度判断文本类别,与词粒度下的向量空间模型分类相比分类效果明显提高。分析上述文献研究结果可见,基于句子计算文本相似度确实有一定的优势。
分析基于句子计算相似度的优势,以及词序在句子相似度计算中的重要性(如 屡战屡败 与 屡败屡战 词序不同意思完全不同),提出句子向量空间模型及基于该模型的文本案例相似度算法,将表示粒度从词提高到句子,加入词序信息来提高计算准确度。将基于句子向量空间模型的文本案例相似度算法应用到案例分类中,采用从不同层次观察问题的策略将案例分类过程分为粗分类和细分类。本
文本案例相似度计算方法 4页 1下载券 计算文本相似度阈值的方... 4页 1...(000一0000 属性论在文本相似度计算中的应用李 广原 ( 广西师范学院 计算中 ...
文本相似度的计算方法_数学_自然科学_专业资料。Jaccard相似度,Shingling,最小哈希,最小哈希签名今日推荐 157份文档 2015国家公务员考试备战攻略...
中文短语文本相似度计算新方法_专业资料。针对短语文本的分类、聚类、信息查询问题,提出了一种新的中文短语文本相似度计算方法。用该方法计算出的文本相似度及一个...
文本相似度计算_IT/计算机_专业资料。使用两种算法计算文本的相似度,计算之前...根据研究的侧重点阐述相关的研究方法目前较为常用的相似度计算方法有许多, 例如本...
研究了文本 相似度的计算方法, 在知网语义相似度的基础上, 将基于语义理解的文本相似度计算推广到 段落范围, 进而可以将这种段落相似度推广到篇章相似度计算. 给出...
相似度的计算在信息检索及文档复制检测等领域具有广泛的应用前景.研究了文本相似度的计算方法,以汉字数学表达式理论为基础,提出了一种新的文本部件粒度表示方法,根据...
基于LDA的中文文本相似度计算_教育学/心理学_人文社科_专业资料 暂无评价
基于VSM的文本相似度计算的研究_专业资料。文本相似度的计算作为其他文本信息处理的基础和关键,其计算准确率和效率直接影响其他文本信息处理的结果。提出改进的DF算法...
(4)提出了一种领域文本相似度计算方法。 使用上位关系扩展的领域关键词的向量 模型,定义领域文本相似度计算公式计算领域文本相似度。 实验表明针对领域文本集,基于...
文本相似度的计算_专业资料。文本相似度的计算在数字图书馆系统里有着广泛的应用前景。该文采用余弦系数和向量空间模型计算文本的相似度.并给出了实现的方法。...
热门文档