文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 基于中文搜索引擎的分词词典的设计与实现
侵权投诉

基于中文搜索引擎的分词词典的设计与实现

中文分词是校园网搜索引擎项目的一个核心技术。词典又是中文自动分词的一个核心技术,词典的性能在一定程度上决定着整个系统的性能。通过该项目的开发,使用特有的索引结构,提高了分词速度;使用文本文件建立广义的词库文件,提高了系统独立性。

维普资讯 doc.guandang.net

第 1第 1 5卷 2期 V0I1 .5 NO.2 1

团

黑嬲

NOTNE EREI TK络术 W技网Q CU H

文章编号:10—4 1(06 1—050 0585 20 ) 204 .3

基于中文搜索引擎的分词词典的设计与实现 马志强,周长胜,杨 (京机械工业学院北

娜,丁维

计算中心,北京 10 8 ) 0 0 5

摘

爨中文分词是校园网搜索引擎项目的一个核心技术。典又是中文自动分词的一个核心技术,词词

典的性能在一定程度上决定着整个系统的性能。通过该项目的开发,使用特有的索引结构,提高了分词速

度;使用文本文件建立广义的词库文件,提高了系统独立性。 关键:词典;字典机制;词典索引;设计中 I分类号:T 3 1冬 1 P 9文献标识码:A

De i n a p e e t to o x c n b s d Ch ne eS a c g ne sg nd i l m n a i n fl i o a e i s e r hEn i m e M A Zh - in,ZHOU a g s e gYANG, NG e iq a g Ch n—h n, Na DI W i

( o p t gC nr, eigIst e f ci,e i 10 8, h a C m ui et B On tu Mahn B in n e ni t o e j g 0 0 5C i ) n A s atWods m t a a Oeehooy fa p s er ng e r etLxcn a a oa o t h ooy f od bt c: r e e w s Cl t n l o cm u ac r g n c g s he i po c. ei w s l cl e nlg o w r n j o s e c

sg etL xcn p r r a c dcddt w oe e omac o te ytmo r i dge . codn ote r et e m . e i’ ef m ne eie h h l pr r n e fh S s n oS o e f e nc t n ereA cri ea gt h po c j d v l p n, t s i e e ti d x s u t r r v e s e d o t ewo d s g e t a d u e x ls o b i e e o me t i wa v n nc r n i e t cu et i g a n r o mp o e p e f r m n, n s t t e u l h t h e d e f i t d g e

aie n e r l dwo dfls i r v h es s m i d p d c . z r i e t mp o et y t o e n e e e e n n Ke r: e i n lx c n e a i y wo d lx C; e i me h r m; e io d x d sg O o s lxc n i e; e in n

目前,搜索引擎已被广泛用于互联网的信息检索。它不仅可以提供英文检索也可以提供中文检

1 .基于整词二分的词典机制 .1 2

整词二分方法的词典结构分为词典正文、词索

索。其主要特点:( )海量信息处理,主要是对采引表、首字散列表等 3级。通过首字散列表的哈希 1集的信息进行信息整理,以利于查询。对提供中文定位和词索引表,很容易确定指定词在词典正文中检索的搜索引擎,要有附加功能,即对中文进行分的可能位置范围,进而在词典正文中通过整词二分词;( )更新速度快,即提供给用户查询的结果尽进行定位。这种算法的数据结构简单、占用空间小, 2 可能为最新的 (最好能查询实时信息 ),这也对信息构建及维护也简单易行,但由于采用全词匹配的查 处理模块的速度提出了要求。 校园网搜索引擎是以高校的局域网为研究范围

询过程,效率较为较低。 1

进行开发设计的,主要提供中文的检索。因此,对中文分词模块提出了特殊的要求:( )要求处理速 1度快;( )要求分词准率高。 2

1分词词典的研究现状 11中文分词的一般过程 . 包括:词典初始化、输入分词文本、文本的结构化处理、分词 (粗分 )、消歧与识别未登录词次、 更新词典和保存结果。如中文分词流程如图 1。 圈 1中文分词流程圈

1 .基于 T I .2 2 RE索引树的词典机制

1 . 2

典的组织结构

T I引树是一种以树的多重链表的形式表示 R E索

收稿日期:20 -61 0 60 -2基金项目:北京市教委资助项目 (26 0 5 8 02 1)作者简介:马志强,讲师;周长胜,副教授。

的键树,基于 T I引树的词典机制由首字散列表 R E索 和T I R E索引树结点两部分组成。T E索引树的优 RI

点:在分词应用中,对被切分语句的一次扫描过程 圆 20.2 0 61

总第 17 1期

基于中文搜索引擎的分词词典的设计与实现

第1页

你可能喜欢

  • 百度搜索引擎
  • 谷歌搜索引擎
  • 国外搜索引擎
  • 医学专业搜索引擎
  • 人肉搜索引擎
  • 目录搜索引擎

热门文档

相关文档

  • 基于中文搜索引擎的分词词典的设计与实现

    基于中文搜索引擎的分词词典的设计与实现_建筑/土木_工程科技_专业资料。基于中文搜索引擎的分词词典的设计与实现第15 卷第 12期Vol.15 No.12文章编号 1005-...

  • 基于Lucene的中文字典分词模块的设计与实现

    在分析Lucene语言分析器结构的基础上,采用基于中文字典的正向最大匹配分词算法,设计实现能够在基于Lucene的搜索引擎中处理中文信息的中文分词模块。在分析Lucene语言...

  • 一种基于词典的中文分词法的设计与实现

    一种基于词典的中文分词法的设计与实现_IT/计算机_专业资料。中文分词就是把...它是其他中文信息处理的基础,广泛应用于搜索引擎、自动翻译、语音合成、自动分类...

  • 基于中文分词的搜索引擎设计实现

    北京工业大学 硕士学位论文 基于中文分词的搜索引擎设计实现 姓名:王常星 申请...新词不断出现;另一方面词的派生、衍生现象也说明没有必要将所有 的词收入词典。...

  • 于Lucene的中文字典分词模块的设计与实现

    于Lucene的中文字典分词模块的设计与实现_工学_高等教育_教育专区。Lucene的中文...采用基于中文字典的正向最大匹配分词算法,设计实 现能够在基于Lucene的搜索引擎中...

  • 汉语分词词典设计

    基于中文搜索引擎的分词... 3页 免费汉语分词词典...论文采用动态 TRIE 索引树的词典机制, 设计并实现了汉语分词词典, 有效地减少了...

  • 一种基于Lucene的中文分词的设计与测试

    因此, 搜索引擎需要采用一种与 处理英文信息所不同的处理方式即中文分词技术来 ...计算机上实现, 时间复杂度 也相对降低 [ 5] 2 中文分词词典的设计与实现在...

  • 一种基于Lucene的中文分词的设计与测试

    关键词:中文分词;搜索引擎;Lucene;正向最大匹配算法 AdesignandtestofChineseword...目前常用的自动分词系统大多采用机械分词为 中文分词词典的设计与实现在汉语中,词...

  • 详解中文搜索引擎分词技术及实例应用

    详解中文搜索引擎分词技术及实例应用_IT/计算机_...剩余没有切分交给普通词典,同样采取正向最大匹配分词...最新进展 设计目标: 设计目标: 1.无长度限制 1....

  • 基于词典的中文分词歧义算法研究

    分词;只有准确,快速的完成对歧义字段的处理,才能设计和实现良好的中文分词系统。...近年来,中文分词技术在信息检索、搜索引擎、信息抽取、机器翻译、汉字的智能 输入...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email