自然语言处理NLP相关文章合集
第24卷第7期 2003年7月
小型微型计算机系统MINI-MICROSYSTEMSVol124No.7
July2003
书面汉语的全切分分词算法模型
万建成 杨春花
(山东大学,250061摘 要:本文首先讨论了全切分研究的问题,、切分树、全切分DAG(无环有向)图和全切分的抽象算法模型,.进而,本文针对串行全切,.关键词:;;:T.1:A 文章编号:100021220(2003)0721247205
AnAlgorithmModelofWordOmni-segmentationforWrittenChinese
WANJian2cheng,YANGChun2hua
(SchoolofComputerScienceandTechnology,ShandongUniversity,Jinan250061,China)
Abstract:Firstly,theproblemsofwordOmni2segmentationhavebeendisscussedinthispaper.Andthen,severalcon2ceptshavebeengiven,includingtheformulaofobtainningthesetofomni2segmentation,thesegmentationtree,theomni2segmentationDAGgraph.Basedonthese,amodelofwordomni2segmentationhasbeenproposed,andtheprob2lemofredundantsegmentationexistedgenerallyintheprocessofomni2segmentationhasbeenpointedout.Thenthealgorithmofserialwordomni2segmentationandthemethodofearlyprunningofunacceptedsegmentationformshavebeenespeciallydiscussed.Eventually,amodelofserialwordomni2segmentationalgorithmisgiven.
Keywords:wordsegmentationofwrittenChinese,omni2segmentation,serialwordomni2segmentation,Chinesesyn2tacticanalysis
1 前 言
书面汉语的词切分是进行深入汉语分析的基础,因而具有重要的应用价值.传统的词切分方法是在机械切分的基础上加以一定的歧义识别处理实现的,其处理过程可表示为:机械切分+歧义识别.机械切分依据字典得到各种可能的切分形式,歧义识别采用一定的标准对得到的初步切分形式进行评测,得到正确的分词结果.评测标准可能包括词关联统计的、句法的、语义的知识和分析.
机械切分从切分程度或切分策略上看可以分为部分切分和全切分两种.部分切分只取得输入序列的一种或几种可接受的切分形式,全切分则要求获得所有可接受的切分形式.由于部分切分忽略了可能的其他切分形式,所以建立在部分切
2〕
分基础上的分词方法〔1、不管采取何种歧义纠正策略,都可能会遗漏正确的切分,造成分词错误或失败.而建立在全切分基础上的分词方法,由于全切分取得了所有可能的切分形式,因而从根本上避免了可能切分形式的遗漏,克服了部分切分方法的缺陷.因此,在任何情况下,采用全切分策略是获得正确分词的前提.但最终分词结果的正确和完全性依赖于歧义处理方法的选择,如果评测有误,也会造成错误的结果.目前歧义识别的方法主要有:基于规则的方法和基于统计的方法.它们各俱优点,但都存在着一定的局限性.基于规则的方法,采用人工编写的歧义识别规则作为标准对机械切分得到的初步切分形式进行评测,得到分词结果.这种歧义识别规则往往是零散的、局部、不完备、甚至是相互矛盾的知识,难以适应一般自然的语言环境.基于统计的方法,采用统计模型作为评测的标准.它避免了人工编写规则带来的局限性,适用于大规模开放性语料,但由于计算模型和计算量的限制,目前大部分基于统计的方法都采用二元统计模型(BIGRAM),因而评测知识也不十分完全.
还有一种歧义识别方法是基于句法2语义分析的.它采用句法和语义分析作为标准,根据上下文来确定机械切分结果的正确性.它的评测知识是非零散、系统的,它不仅局限于相邻词,而且可作用于非相邻出现的词中,因而这种消歧方法有更大的合理性.但是,其分析的复杂度或代价是很高的.
我们把建立在全切分基础上的分词方法称为全切分的分词方法.目前已经有文献对全切分的分词方法进行了研究.文〔3〕在基于ER模型的数据库受限汉语查询界面RchiQL系统中

,采用全切分得到满足词典的所有切分形式,然后与文法分析系统和语义分析系统交互地完成歧义的处理.这种方法
收稿日期:2001210212 基金项目:山东省自然科学基金(11090301)资助. 作者简介:万建成,教授,主要研究领域为软件工程,面向对象技术、人工智能,自然语言处理.E2mail:wanjch@sdu.edu.cn杨春花,硕士研究生,
书面汉语的全切分分词算法模型【】 小型微 J,型计算 机 系统,012(2.20,21) UK,99.90—951944 模的文本理论分析 和实证 中, M 方法应可 以获得更 高的...
1模型的定义与定理 11 词义 准备 . 本文在特定...杨丽. 于两 字词 簇的汉语 快速 自动分词算法 〔... 书面汉语的全切分分词算... 5页 7下载券 中文...
书面汉语的全切分分词算法... 5页 20财富值 N-gram模型和机器学习的汉......(0”0-1- 164520)03302/200一 种改进 的汉语分词算法 易丽萍 , 叶水生 ,...
摘: 本文分析了现有的基于词典的分词算法 ,在比较...介绍了 研究中的汉语语言无词典分词模型系统 [2 ]...而清华大学的 SEGTA G 系统采用的是全切分方 法 ...
一种能够检测所有交叉歧义的汉语分词算法_IT/计算机...无论是进行统计语言模型训练还 是在句子分析, 翻译...3 覆盖歧义检测法回顾构造句子的全切分词图的过程 ...
针对中文自动分词中组合型歧义消解难的问题,提出了一种新的切分算法来对组合型...中提取歧义字段的上下文信息来建立规则库,然后利用C-SVM模型结合规则对组合型歧义...
算法得到 的切 分结果是“证金融安 和金都若保全” 而 正确 的切分结 果应... 中文 分词 中歧 义切 分处 理策略 3真歧义字段 2的切 分模型 31 问题 ...
二、 中文分词技术的分类 我们讨论的分词算法可分为...3). 全切分和基于词的频度统计的分词方法 基于词...词,运用统计语言模型和决策算法决定最优的切分结果。...
二、 中文分词技术的分类 我们讨论的分词算法可分为...3). 全切分和基于词的频度统计的分词方法 基于词...匹配的所有可能的词,运用统计语言模型和决策算法决定...
而我国直到 1980 年才建成了两个汉语自然语言理解模型, 都以人机对话的方式... 中文分词的基本研究方法主要包括两类:基于有词典切分/无词典切分的算法和基于规...
热门文档