第40卷 第4期2009年7月
太原理工大学学报
JOURNALOFTAIYUANUNIVERSITYOFTECHNOLOGY
Vol.40No.4 Jul.2009
文章编号:1007 9432(2009)04 0356 05
图书信息领域中文问句浅层语义分析技术
郭 涛,郭 浩
a
b
(太原理工大学a 网络技术中心;b 理学院,山西太原030024)
摘 要:阐述了面向开放领域和受限领域中文问句处理方法的异同,讨论了在受限领域(图书
信息领域)中文问句处理的思路。在当前汉语言句法分析技术尚无法达到应用级别水平的前提下,提出了基于语义块识别的中文问句浅层语义分析技术。给出了语义块的定义、规约规则以及问句向量的生成方法,最终实现对中文问句的浅层语义挖掘,以满足实际应用的需要。实验证明,该方法在语料较为稀疏时,具有良好的效果。
关键词:问答系统;问句处理;语义块识别;自然语言处理中图分类号:TP181 文献标识码:A 问答系统作为新兴的信息检索技术,已经成为学界的研究热点。问句处理是问答系统中重要的组成部分,其对问句的理解程度,语义挖掘的深度和广度将直接影响到系统的整体性能。对于中文问答系统而言,目前仍处于探索阶段,尚未出现较为成熟的问答系统。其对问句的处理由于受到汉语言自身的语法、语义的复杂性以及句法分析技术尚无法满足实际应用的影响,无法对问句进行更深层的语义挖掘。笔者针对受限领域(图书信息领域),提出了基于语义块识别的中文问句浅层语义分析技术,挖掘问句中的未知和已知信息,并在领域级别中正确地理解和解释它们。实验证明,该方法在语料较为稀疏时,具有良好的效果。
汉语语言学把中文问句分为疑问句、设问句和反问句,只有疑问句才是用来询问信息的,疑问句又分为是非问句、选择问句和特指问句。目前学术界在问句处理环节的研究重点放在了一般疑问句中的特指问句。TREC2006发布的训练集(TREC2006QAtrackdatadefinition)中,所有492个问题均属于特指问句。所以,我们同样只选择了特指问句作为我们主要的研究目标。下文中,除有特殊说明,所述"问句"均为特指问句。
[1]
块分析。对用户问句进行分词、名实体识别、词性标注和组块分析,可为提取问句答案类型服务,又可为语义相似度计算做准备。
2)实现问句答案类型分析。对于用户提交的问题首先要对问题进行分析,确定用户问句中用户信息需求所属的语义类别,以确定答案抽取的对象。
3)实现问句关键词提取。并不是在问题中的每个词都可以提取出作为检索系统的关键词,要求在用户提问的问题中提取出对后面检索系统有用的关键词,而屏蔽停用词,并生成用户问句向量。
4)实现问句关键词扩展。扩展疑问关键词的原因在于答案句中某些词常常不是原来问题中的关键词,而是关键词的同义扩展。
在研究中我们发现,同传统的面向开放领域的问答系统相比,我们的系统是面向受限领域(图书信息领域),这就意味着我们的需要处理的问句将会集中在图书领域内,且问句在这个领域内的特性将被强化,这些特性包括用词、语序、特殊搭配等。为了在问句处理中实现更深层次的语义挖掘,传统的方法只基于关键字的抽取是不够的。不仅要把关键字正确的抽取出来,还要对关键字进行正确的领域级别的语义解释。所以,以上两点决定了我们的问句处理不能够按照传统的分析方法进行。实验中,我们采用了CoNLL(ComputationalNaturalLan guageLearning)提出的组块(Chunk)任务作为理论依据,定义了图书信息领域的问句语义块及其规约
1 基于语义块的问句浅层语义分析
传统的问句分析方法一般要求实现如下功能:1)能够进行分词、名实体识别、词性标注和组
*收稿日期:2008 09 18
:),,,,(cn
基于浅层语义分析技术的语义检索_信息与通信_工程科技_专业资料。在信息检索领域,语义检索技术较传统的关键字检索,无论在检索效果还是用户体验方面,都有诸多优势。...
自动浅层语义分析车万翔,刘挺,李生 (哈尔滨工业大学计算机学院信息检索实验室,哈尔滨 E-mail: {car, tliu, lisheng}@ir-lab.org 150001) 摘要全自动的语义...
图书信息领域中文问句浅... 暂无评价 5页 免费 浅层语义分析 9页 1下载券...( 中国科学技术大学自动化系 合肥 202)306 摘 要 在信息检索领域, 语义检索...
基于问句语义表征的中文问句相似度计算方法_专业资料。提出了一种中文问旬语义相似度计算的新方法.该方法分为两步:第一步采用基于问句句型模板规则匹配的方法提取...
浅层语义分析研究_交通运输_工程科技_专业资料。...(semanticrole labeling,SRL),目标是结合语料 库技术...(themeaningof 和Cognition表示两个领域,Questioning,...
浅层语义分析研究_专业资料。语义分析是自然语言理解领域研究的根本性问题,浅层语义分析为此提供了一种新的解决途径.从语义学的角度讨论了浅层语义分析的发展历史...
浅层语义分析研究_教育学/心理学_人文社科_专业...(semanticrole labeling,SRL),目标是结合语料 库技术...(themeaningof 和Cognition表示两个领域,Questioning,...
自然语言文本的语义分析技术在问答系统 、 信息抽取 、机 器翻译等领域有着广泛...4 2S [ 11 ]对中文 PropBank进行浅层语义分析 。 MO 语义角色标注算法 中 ...
基于浅层句法分析的中文语义角色标注研究_专业资料。语义角色标注是获取语义信息的一种重要手段。许多现有的语义角色标注都是在完全句法分析的基础上进行的,但由于现...
基于句法和语义信息的问句特征提取方法_专业资料。在分析当前中文问答系统中问句分析技术的基础上,提出一种基于句法结构和语义信息的问题特征提取方法。利用依存句法...
热门文档