搜索引擎 信息检索
分类整理。
(7)可以针对不同用户提供个性化服务。
5 搜索引擎原理和关键技术
当今搜索引擎的主流是基于Robot的网页搜索系统,本文主要叙述这方面的技术。搜索引擎的原理,可以看作三步:从互联网上抓取网页→建立索引数据库→在索引数据库中搜索排序。
5.1搜索引擎的原理
从互联网上发现、搜集有用网页信息利用高性能的Spider程序去自动地在互联网中搜索信息。一个典型的"网洛蜘蛛"工作的方式,是查看一个页面,并从中找到相关信息,然后它再从该页面的所有URL中出发,爬行到相关页面,重复这过程,直到把爬过的所有网页都收集回来。搜索引擎的Spider一般要定期重新访问所有网页,更新网页索引数据库,以反映出网页文字的更新情况。
将收集到的信息进行分类整理,建立索引数据库由分析索引系统程序对收集回来的网页进行分析,提取相关网页信息(包括网页所在URL、编码类型、页面内容包含的所有关键词、关键词位置、生成时间、大小、与其它网页的链接关系等),根据一定的相关度算法进行大量复杂计算,得到每一个网页针对页面文字中及超链中每一个关键词的相关度(或重要性),然后用这些相关信息建立网页索引数据库。
5.2 用户检索过程
当用户输入关键词搜索后,由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好,所以只需按照现成的相关度数值排序,相关度越高,排名越靠前。最后,由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。
上面简述了搜索引擎的工作原理,从这里不难看出搜索引擎的基本构成:搜索器、索引器、检索器和用户接口等。
5.3 Robot技术
网络机器人Robot(通常也称为网络蜘蛛Spider、爬行者Crawler等)可以用在针对互联网的数据统计、数据搜索、链接维护等方面。搜索引擎中的网络机器人主要完成两个功能,即分析、获取互联网的链接和读取各链接所对应的网页内容。
常用搜索引擎技术概述 8页 1下载券 搜索引擎技术介绍-屈波 59页 免费 下载...搜索引擎技术介绍屈波 2007年8月 目录一、搜索引擎总体介绍 二、爬虫技术介绍 ...
搜索引擎查询推荐技术综述李亚楠1“,王斌1,李锦涛1(1.中国科学院计算技术研究...然而相关 文档难以获得,常用的方法是假设检索返回的排名 靠前文档是相关的。由于...
常用搜索引擎技术概述 8页 1下载券 搜索引擎技术介绍-屈波 59页 免费 下载...搜索引擎技术介绍屈波 2007年 2007年8月 目录一、搜索引擎总体介绍 二、爬虫...
常用搜索引擎技术概述 8页 1财富值喜欢此文档的还喜欢 搜索引擎发展综述 6页 2财富值 搜索引擎综述 4页 免费 搜索引擎技术的产生与发展... 2页 免费 搜索...
一、搜索引擎概述(续一) ? 搜索引擎技术原理 ? 1. 组成:搜索器(Searcher)、...三、中外常用搜索引擎简介-搜狐搜狗 可以按目录逐级浏览 本图为单击“体育”按钮...
搜索引擎技巧 四川建院图书馆 信息检索技术 2.1 网络搜索引擎概述 ? 搜索引擎...常用地理性顶级域名国家或地区 代码 au ca ch cn de es fl fr hk 澳大利亚...
第1章 搜索引擎概述 28页 免费 搜索引擎的关键技术 19页 免费 The Eagles(...常用中英文搜索引擎指南 第一部分: 第一部分:搜索引擎发展史 1990 年以前,没...
常用搜索引擎技术概述 8页 1下载券 搜索引擎概述 1页 1下载券 第1章 搜索...搜索引擎(search engine)是指根据一定的策略、运用特定的计算机 程序搜集互联网上...
SEO常用工具 第五部分:SEO项目分析策略 SEO 第六部分:搜索引擎常见现象 第七... web搜索引擎概论——sea... 39页 免费 搜索引擎相关技术研究概... 暂无评价...
热门文档