
基于HowNet句子相似度的计算
周云 朱定局 柏佳宁 朱怡蔓
摘 要 针对目前词语相似度计算中词语的反义关系、对义关系、符号义元”^”和”~ ”体现的不明显问题,本文提出基于HowNet计算句子相似度,在《知网》的词语相似度计算的基础上,加入了词语定义的义原间的反义、对义关系、单义元的否定和符号义元”^”和”~ ”定义信息来计算词语的相似度,并在词语定义词典的存储方式做了改进,利用汉字的编码来组织词典。计算句子相似度前加入词语的消歧,在计算句子相似度时考虑了词语定义的关系义元与待比较的词定义的某个义元相等的情况,并加大了关系义元的比重。实验表明:本文的方法计算词语相似度更加合理准确,进而提高句子的相似度计算精度,且由于存储方式的改进,提高了词语查找速度。关键词 知网;词语相似度;义原相似度;字典结构;句子相似度
1 引言
相似度的计算是中文信息处理中最为基础和重要的工作,它直接决定着某些领域的研究和发展。如机器翻译、信息检索、自动文摘、自动问答系统等领域。句子相似度是一个关键的问题,一直以来都是人们研究的热点和难点。本文句子相似度的研究主要以人工智能心理咨询系统为应用背景,在人工智能心理咨询系统句子相似度的计算中起着决定性的作用。人工智能心理咨询系统主要是计算咨询者提出的问题与问题库问题之间的相似度,把相似度高的问题的答案返回给咨询者。词语的相似度计算对句子相似度计算的处理起着至关重要的作用,如果只从关键词上进行匹配处理却没有深入到词语的语义层次,词语相似度计算的结果也不会合理准确,句子的匹配结果也不会准确。词语的语义相似度的计算,目前主要有两类计算方法:一类是基于语义字典的相似度计算方法(如同义词词林、知网、WordNet等);另一类是基于统计的相似度计算方法(如TF-IDF等)。目前国内,以《知网》为基础的词语相似度计算是当前较好的方法之一[1]
。《知网》是我国著名机器翻译专家董振东先生几十年工夫创建的一个知识系统,它含有丰富的词汇语义知识和世界知识,内部结构复杂。
中科院刘群的基于《知网》的词语相似度计算[2]是利用义原的上下位关系计算义原相似度,进而得到词语的相似度。对词语的反义关系、对义关系、符号义元”^”和”~ ”体现的不是很明显,在测试发现一些存在对义或反义的词语与同义、近义词语一样具有较高的相似度。本文在文献[2]的基础上,加入了词语定义的义原间的反义、对义关系、单义元的否定和符号义元”^”和”~ ”定义信息来计算词语的相似
度,并在词语定义词典的存储方式做了改进,利用汉字的编码来组织词典。实验表明:一些区别词的相似度更加合理,且提高了词语的查找速度。本文在计算句子相似度时考虑了词语定义的关系义元与具体义元相关的情况。如果词语定义的关系义元与待比较的词的定义的某个义元相等时,说明两个词语之间存在一定程度上的同义,可以相互替换机率比较大,必然词语的相似度也很高。所以,本文认为关系义元比重应该和其他义元的比重一样。
本文第2节对相似度进行简单介绍;第3节介绍基于HowNet的词语相似度的计算;第4节对字典的设计的改进进行讨论;第5节介绍句子相似度的计算;第6节实验结果与分析;第7节对全文进行总结与展望。
2 相似度简介
2.1 词语语义相似度
Dekang Lin 认为任何两个事物的相似度取决于它们的共性(Commonality)和个性(Diferentces) [3],然后从信息理论的角度给出任意两个事物相似度的通用公式(公式1):
Sim(A,B)=
其中分子描述A、B共性所需要的信息量的大小;分母完整的描述出A、B所需信息量大小。
logp(common(A,B))
(1)
文献[2] 研究主要基于实例的机器翻译,词语相
α=似度是两个词语在不同的上下文中可以互相替换使
+α
用而不改变文本的句法语义结构的程度,用其开发
Sim (p1,p2)=α× (depth(p1)+depth(p2)) /α×(depth (p1)+ depth (p2的WordSimilarity 软件进行实验发现:一些词义相反
32p1,p2 depth (p) dist(p,p)
112
Sim(p1,p2)=±
α
,
知网(英文名称为 HowNet)是一个以汉语和英语的词语所代表的概念为描述对象,以 揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库。 知网...
知网HowNet_IT/计算机_专业资料。知网 HowNet知网的研发策略董振东中科院计算机语言信息工程研究中心 dzd.keenage.com 上海复旦 2004-07 提纲 ? ? 知网浏览 研发...
知网HowNet - 清华大学_建筑/土木_工程科技_专业资料。知网 HowNet - 清华大学今日推荐 50份文档 2014年注册会计师考试 2014年注册会计师考试攻略 2013年注会...
WordNet与HowNet之关系研究_动画/交互技巧_PPT制作技巧_PPT专区。WordNet与HowNet之关系研究第27 卷第 7 期 2007 年 7 月 湖北广播电视大学学报 Journal of ...
Ontology & HowNet_教学反思/汇报_教学研究_教育专区。Ontology & HowNetOntology 和 HowNet 董振东 dzd@keenage.com 董强 dongqiang@keenage.com www.keenage....
基于HowNet的词汇语义倾向计算_IT/计算机_专业资料。基于HowNet的词汇语义倾向计算中文信息学报 第 2卷第10期N4IORMATONROCKIG Vo.N. NIPWN l2ol0 JUNL CHIW.F...
第2卷第5 4期20年105 0月 情报学 报 V1 4两5o.,2Otbr20coe, 50 基于H w e的话题跟踪及倾向性分类研究‘ oNt)金珠 林鸿飞 赵晶( 大连理工大学计算机...
第2卷第5 4期20年105 0月 情报学 报 V1 4两5o.,2Otbr20coe, 50 基于H w e的话题跟踪及倾向性分类研究‘ oNt)金珠 林鸿飞 赵晶( 大连理工大学计算机...
基于WordNet和HowNet建设双语语义词典_IT/计算机_专业资料。自然语言处理学术论文关于基于WordNet和HowNet建设双语语义词典高技术通讯 2,,* H *2 基于 !"#$%&...
热门文档