基于中文分词的搜索引擎设计实现
第1章绪论
第1章绪论
1.1.项目背景
搜索引擎项目作为一个B2B网站的子项目立项开发,该B2B站点将会收录大
量分类信息,包括产品供、求信息,公司介绍信息,人才简历库,在分类信息中进行搜索、聚类和相关信息推介,普通的数据库搜索已经不能达到性能要求,因此立项开发一个具备完整功能的搜索引擎服务。
系统设计目的是作为一个B2B模式的商业平台的后台搜索引擎,不仅对用户
提供搜索服务,同时还用于系统数据的智能筛选工作,跟踪用户的使用习惯和发布、查询的信息特点归纳,为用户提供更加准确的信息服务。
全部系统被划分为三期目标,目前设计实施的是第一期,系统设计容量较小,
目的是快速形成基础架构,能够让网站运转起来。后期的研发目标,将重点放在容量扩大和搜索技术的提高方面,最终目标是达到一个具有一定智能化的B2B信息平台。
1.2.搜索引擎历史与发展
早期的搜索引擎,并不能称为真正的搜索引擎,只是将数据组织成目录结构,
提供了通过Gopher和Telnet进行搜索的功能,包括Yahoo搜索引擎在早期提供的目录黄页,都需要通过人工进行数据整理,随着收集的数据量的增加,Yahoo开始支持数据库查询。不久之后,Lycos公司推出了基于robot的自动数据挖掘技术,通过程序对网页进行自动摘要并生成关键词索引,数据自动挖掘是近代搜索引擎的根基,虽然当时的摘要技术仅仅是对页面特定位置的信息进行处理,但是对于人工整理数据的方式已经是一个里程碑式的成果。大约一年以后,
AltaVista公司再将搜索技术推向一个高峰,在内容摘要基础上提供了对页面内容的分析,并且提供了高级搜索语法,并且该搜索引擎还支持简单的自动分类和多种数据源搜索,包括图片,新闻组等,此后的搜索引擎都是基于类似技术的,但是受到语言和信息量的限制,搜索引擎在网络上的应用并不广泛,搜索效果越
基于中文搜索引擎的分词词典的设计与实现_专业资料。中文分词是校园网搜索引擎项目的一个核心技术。词典又是中文自动分词的一个核心技术,词典的性能在一定程度上决定...
基于中文搜索引擎的分词词典的设计与实现_建筑/土木_工程科技_专业资料。基于中文搜索引擎的分词词典的设计与实现第15 卷第 12期Vol.15 No.12文章编号 1005-...
中文分词论文: 中文分词论文:搜索引擎中文分词技术研究 【中文摘要】 中文分词...和未登录词识别四个 方面分析研究了中文分词技术,并设计实现了一个中文分词原型...
研究中文分词方法在Nutch中的应用对实现中文搜索引擎具有非常现实的意义.在对中文分词技术进行研究的基础上,设计并实现了具有中文分词功能和新词识别功能的分词器,在...
关键词:中文分词 搜索引擎 Lu 该付费资源由维普网提供 中国最大最早的... 设计实现了一个基于Lucene的中文分词模块,提出了一种更为有效的中文词处理方法...
一种基于词典的中文分词法的设计与实现_IT/计算机_专业资料。中文分词就是把...它是其他中文信息处理的基础,广泛应用于搜索引擎、自动翻译、语音合成、自动分类...
然后介绍了基于该词库设计的一种快 速的分词算法, 并给出了算法的实现过程。 关键词: 中文分词; 二分查找; Hash; 词库; 搜索引擎 中图分类号: TP391 文献...
因此,搜索引擎需要采用一种与 处理英文信息所不同的处理方式即中文分词技术来 ...设计并实现了基于Lucene的中 文分词模块(本文将其定义为中文分词模块A),以 ...
在分析Lucene语言分析器结构的基础上,采用基于中文字典的正向最大匹配分词算法,设计实现能够在基于Lucene的搜索引擎中处理中文信息的中文分词模块。在分析Lucene语言...
现中文搜索引擎具有非常现实的意义.在对中文分词技术进行研究的基础上,设计并实现了具有中文分词功能 和新词识别功能的分词器,在Nutch中实现了中文分词功能.实验测试...
热门文档