中文分词算法概述

f SN 0 9 3 4 S 10—04

E ma: s@cc.ec— i xj cc t n l l n. h t:ww d z .e .n t/ w.n sn t p/ c T 1 8~ 5l 5 9 9 3 5 9 9 4 e: 6 5 6 0 6 6 0 6 +一

C m u r n we g n ehooy电脑知识与技术 o p t o l eadTc nl eK d g Vo., .0 1 No1,Api 2 0 P .6 5 2 0 5 rl 0 9, P2 0— 6 7

中文分词算法概述 龙全赵正 . 树 .文唐华 (南石油大学计算机科学学院，川成都 6 0 O )西四 15 0

摘要：当前搜索引擎技术被广泛地应用，使得全文检索技术和中文分词技术的研究逐渐深入 q文分词是中文信息的关键技术之这 - 一 .

其质量高低直接影响中文信息处理效率。章致力于研究中文分词算法，多种中文分词算法、文对自动分词系统的理论模型进行了

详细的阐述和讨论 .中文分词的进一步发展提供基础和方向。为

关键词：中文分词：文检索；法；索引擎；义切分全算搜歧 中图分类号： P 9 . T 31 1文献标识码： A文章编号： 0 9 3 4 (o 91一 6 5 0 1 0— 0 42 o ) o 2 0— 3

Ov r iw n Ch n s e me t t n Al o i m e ve o i e e S g n a i g rt o h LO N G hu—qu n,ZHA O S a Zhe ng—w e n,TAN G ua H

( e a me t f o ue c n e n eh o g, o twe e oe m i r t, h n d 1 5 0 Ch a 1 p r n mp t S i c d T c n l y S uh s P t lu Unv sy C e g u 6 0 0, i ) 9 t oC r e a o t r ei n Ab ta t s r c:Cure l he sa c ngne tc ol y sbe n wi ey u e w hih b i g n—d pt r s ac st ul e ts ac e h l y r nt y,t e rh e i e hn og ha e d l s d, c rn si e h e e r he O f l—tx e rh t c noog

a dCh ees met i s C ie e etini o eo ekytcn lge o hn s ifr t n i d et f c

eq at o n i s e nao; hns Sg nao n ft e eh oo s f iee nomao,t i cya et t uly f n g tn e m t s h i C i r l sh i Ch n s n o mai n p o es g e ce c . i at l d d c t d t ee rh o ie e S g n ai n Alo t m,d sr e n d ti a d i e e i f r t r c si f in y Th s ri e e i ae O R s a c n Ch n s e me tt g r h o n i c o i ec i d i e l n b a d su st o i d f i e e S g e tt n A g r h,Th o eia mo e fAu o— e e tt n s se . r vd o n ai n a d d— ic s O s me k n so n s e m n ai Ch o l o t ms i e rt l c d lo t S g na i y tm P o ie f u d t n i m o o r ci n frt e f th rd veo m e fC hne es g e tton . e to o h ur e e l p nto i s e m n a i s

Ke r s c ie g n t n;u— e t erh a o tm; erh e g e a aiu u w r g na o ywo d: hn s s me t i s f l t ac; l rh sa n n; n g o s o ds me t in ee a o l— x s gi c i b e t

1引言 自然语言处理是人工智能的一个重要分支。中文分词是中文自然语言处理的一项基础性工作，是中文信息处理的一个重要也问题。随着搜索引擎技术的广泛应用，文检索技术和中文分词技术也逐步受到广泛的研究和应用，而到目前为止 .没有完全全然还成熟实用的中文分词系统面世，成为严重制约中文信息处理发展的瓶颈之一。本文致力于研究中文分词算法，过分词算法对分这通词的质量做出客观的判断和评估，而为中文分词的进一步发展提供基础和方向。从

2中文分词技术综述 21全文检索技术 .

所谓全文检索是指计算机索引程序通过扫描文章中的每一个词，每一个词建立一个索引 .明该词在文章中出现的次数和对

指位置，当用户查询时，索程序就根据事先建立的索引进行查找，将查找的结果反馈给用户的检索方式。在中文文档中根据是否检并采用分词技术，引项可以是字、或词组，索词由此可分为基于字的全文索引和基于词的全文索引。

基于字的全文索引是指对于文章中的每一个字都建立索引，索时将词分解为字的组合。对于各种不同的语言而言，有不同检字的含义，比如英文中字与词实际上是合一的，中文中字和词有很大分别。方法查全率较高，查准率较低。时会出现令人啼笑而此但有皆非的检索结果，检索货币单位“克”,把“克思”索出来。如马时会马检 基于词的全文索引是指对文章中的词，语义单位建立索引，索时按词检索，且可以处理同义项等。英文等西方文字由于即检并按照空白切分词，此实现上与按字处理类似，加同义处理也很容易。中文文字则需要切分字词 .因添以达到按词索引的目的对中文文档进行切词，高分词的准确性，取关键词作为索引项，现按词索引可以大大提高检索的准确率。提抽实 22中文分词技术 .

中文分词与英文分词有很大的不同，英文而言，个单词就是一个词，汉语是以字为基本的书写单位，语之间没有明显对一而词的区分标记，要人为切分。中文分词系统是利用计算机对中文文本进行词语自动识别的系统 .其研究已经取得了很多成果， 需对出现了众多的算法。根据其特点，以将现有的分词算法分为四大类：于字符串匹配的分词方法、于理解的分词方法、于统计的可基基基分词方法和基于语义的分词方法等

3中文分词方法 中文分词方法的基本原理是针对输入文字串进行分词、滤过处理，出中文单词、文单词和数字串等一系列分割好的字符输英串。中文分词模块的输人输出如图 l所示。 31基于字符串匹配的分词方法 .图 1中文分词原理图

这种方法又叫作机械分词方法、于字典的分词方法，基它是按照一定的策略将待分析的汉字串与一个“分大的”器词典中充机

的词条进行匹配。若在词典中找到某个字符串，匹配成功 (别出一个词 )则识。该方法有三个要素，分词词典、本扫描顺序和匹配即文

原则。文本的扫描顺序有正向扫描、逆向扫描和双向扫描。匹配原则主要有最大匹配、最小匹配、逐词匹配和最佳匹配。

收稿日期： 0 9 2 1 2 0 -0—1

本栏自责任编辑：谢媛媛

一一

软件设计开发一 2 0 65