文章中的相邻字进行统计,在文中出现的次数高,就会作为一个词的索引几率就大,从而提炼出关键词,这类技术的优点就是可以节约建立词库的内存,也避免了对分词的把握不当造成搜索困难,全文搜索引擎主要是通过收集站点,过滤器,分词程序,搜索引擎,和结果排序程序等几步联结起来来的,主要就是信息的采集,到信息的筛选和信息结果的查询。
在本文设计的搜索引擎中,他的整个运行过程是这样设定的,通过爬虫采集放在网络上的站点,并加以汇总,以天网格式的数据形式存储在本地站点,过滤器通过自身设定的程序对存放在本地站点上的网页进行索引,通过对用户关键词的比较,查询出需要的网页传输给本地,并通过架构小型的搜索引擎,使爬虫系统可以多线操作,保证网速的高速运转,让站点可以持续的链接,同时过滤不能访问的网站,本搜索引擎的另一个优点就是采用天网格式的输出,不仅容错性更高,而且他采用正向匹配,支持关键词的查询。本引擎基于linux平台,编程语言c++,爬虫在采集信息的时候可以来回爬取,同时保持两条线路,已经访问和未访问的,并不断的对新的站点和已经访问过的站点做对比,不断选取新的信息,进行在本地站点上的存取。在索引方面本设计采用的是通过几个中间的文件转换来实现的,在分词算法程序中,采用正向匹配最小窗口法,采用词库是tse中的中文词典,在基于词库的分词算法中,词汇的收集和词典的内部结构的设计会影响着最终的搜索结果,一个词库的词汇收集的越多,词库的结构越合理,也就说对我们搜索的结果也
基于Web的全文搜索引擎的设计与实现_互联网_IT/计算机_专业资料。基于Web的全文搜索引擎的设计与实现第31 卷 Vol.31 第 20 期№ 20 计算机工程 Computer ...
站内全文搜索引擎的设计与实现_互联网_IT/计算机_专业资料。站内全文搜索引擎的设计与实现毕业论文(设计)论文(设计)题目:站内全文搜索引擎的设计与实现 目 录 ...
全文搜索引擎的设计与实现(文献综述)_IT/计算机_专业资料。全文搜索引擎的设计与实现前言面对海量的数字化信息,搜索引擎技术帮助我们在其中发现有价值的信息与资源。...
全文搜索引擎的设计与实现-文献综述_互联网_IT/计算机_专业资料。全文搜索引擎的设计与实现-文献综述江汉大学毕业论文(设计) 文献综述 综述名称 全文搜索引擎的设计...
全文搜索引擎的设计与实现-毕业论文_工学_高等教育_教育专区。全文搜索引擎的设计与实现-毕业论文江汉大学本科毕业论文(设计) 作者声明本人郑重声明:所呈交的学位...
基于Lucene的全文搜索引擎的设计与实现_专业资料。Lucene是一个用Java写的全文搜索引擎工具包,支持多用户访问,访问索引速度快,可以跨平台使用.分析了Lucene的索引...
江汉大学毕业论文(设计) 开题报告 学生姓名 课题名称 指导教师意见: cccc 学号 200708202137 全文搜索引擎的设计与实现 指导教师签名: 年 月 日 系(教研室)意见:...
全文搜索引擎的设计与实现-任务书全文搜索引擎的设计与实现-任务书隐藏>> 江汉大学毕业论文(设计)任务书数学与计算机科学 学院 系 计算机科学与技术 专业 题目 ...
APP LI CA TI ON _● 全文搜索引擎e —Guide 的设计与实现 文 /赵晓 摘要 :面 对互 联 网信 息 量爆 炸式的增长 ,人们对搜索 引擎 通过 处理 IndexDB...
全文搜索引擎的设计与实现-外文翻译_互联网_IT/计算机_专业资料。全文搜索引擎的设计与实现-外文翻译江汉大学毕业论文(设计) 外文翻译 原文来源 The Hadoop ...
热门文档