基于中文分词的搜索引擎设计实现
摘要
摘要
本项目是公司的电子商务网站项目下的一个关键子项目,项目的设计要求包
括根据已有的分词算法,实现自有的中文分词系统,设计实现一个规模适中的搜索引擎系统,具备较强的扩展性和稳定性,控制搜索引擎的规模。
虽然搜索引擎技术目前已经有较为成熟的解决方案,但是由于项目特别限定
了搜索引擎,包括中文分词处理技术,都需要采用完全自有的设计方案,因此本文所针对的搜索引擎架构设计,以及中文分词算法的实现,都没有采用已经成型的开源设计方案。
搜索引擎设计采用了层次化的设计结构,将搜索引擎划分为五个层次,分别
是接口层,核心层,存储层,监控系统和中文分词系统。接口层负责处理外部程序与搜索引擎的通信过程。核心层包括四个子系统:中心控制系统,竞价系统,搜索节点和分词系统,中心控制系统是搜索引擎的核心调度系统,竞价系统是搜索引擎可以实现经济效益。存储层是搜索引擎索引数据的存储系统所在位置,其中包括了索引目录服务和数据存储节点,存储节点可随需求进行扩展,增撤节点只要在目录服务中作出相应更新就可以实现存储节点的扩展。搜索引擎集群在运行时,需要一个监控系统来实时监控系统各服务以及网络的运行状态,便于及时发现解决问题,保障系统的在线正常运行。中文分词子系统在查询和更新中被调用,进行信息的分词处理。搜索引擎个子系统间的通信,采用了成熟的HTTP协议,该协议性能稳定成熟,通过专门设计的HTTPServer达到非常高的传输性能。
搜索引擎的索引数据随着时间的积累会越来越多,系统设计采取了分布式存
储方式来满足搜索性能和存储容量的两方面要求,分布式的存储结构通过一个目录服务达到各节点数据同步的目的。
分词系统实现了最大正向匹配切分结合tr.。Gram排歧的分词方法。关键词搜索引擎;分布式存储;HTTP协议;中文分词
基于中文搜索引擎的分词词典的设计与实现_专业资料。中文分词是校园网搜索引擎项目的一个核心技术。词典又是中文自动分词的一个核心技术,词典的性能在一定程度上决定...
基于中文搜索引擎的分词词典的设计与实现_建筑/土木_工程科技_专业资料。基于中文搜索引擎的分词词典的设计与实现第15 卷第 12期Vol.15 No.12文章编号 1005-...
中文分词论文: 中文分词论文:搜索引擎中文分词技术研究 【中文摘要】 中文分词...和未登录词识别四个 方面分析研究了中文分词技术,并设计实现了一个中文分词原型...
研究中文分词方法在Nutch中的应用对实现中文搜索引擎具有非常现实的意义.在对中文分词技术进行研究的基础上,设计并实现了具有中文分词功能和新词识别功能的分词器,在...
关键词:中文分词 搜索引擎 Lu 该付费资源由维普网提供 中国最大最早的... 设计实现了一个基于Lucene的中文分词模块,提出了一种更为有效的中文词处理方法...
一种基于词典的中文分词法的设计与实现_IT/计算机_专业资料。中文分词就是把...它是其他中文信息处理的基础,广泛应用于搜索引擎、自动翻译、语音合成、自动分类...
然后介绍了基于该词库设计的一种快 速的分词算法, 并给出了算法的实现过程。 关键词: 中文分词; 二分查找; Hash; 词库; 搜索引擎 中图分类号: TP391 文献...
因此,搜索引擎需要采用一种与 处理英文信息所不同的处理方式即中文分词技术来 ...设计并实现了基于Lucene的中 文分词模块(本文将其定义为中文分词模块A),以 ...
在分析Lucene语言分析器结构的基础上,采用基于中文字典的正向最大匹配分词算法,设计实现能够在基于Lucene的搜索引擎中处理中文信息的中文分词模块。在分析Lucene语言...
现中文搜索引擎具有非常现实的意义.在对中文分词技术进行研究的基础上,设计并实现了具有中文分词功能 和新词识别功能的分词器,在Nutch中实现了中文分词功能.实验测试...
热门文档