文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 数据挖掘及其在网络信息检索中的应用
侵权投诉

数据挖掘及其在网络信息检索中的应用

数据挖掘,应用

2010年6月董慧,等:数据挖掘及其在网络信息检索中的应用

155

论文等资料都有一段摘要使读者更快地进行选择,在搜索引擎领域关键词或混合型的搜索引擎往往会在结果中提供每个网页的简单摘要,以减少阅读量,提高信息筛选的速度。目前,对于大部分的检索结果搜索引擎都是机械地抽取网页文档的前几句内容。在百度、G∞gle等中输入任意一个关键词,从检索结果中就可发现它们所采用的自动摘要基本上仅仅是通过位置来确定的。这种方式很不准确,很难真正反映出网页的信息内容,限制了搜索引擎自动摘要的质量。对于目录搜索引擎,它需要人工审核网站提交的关键字和网站描述等资料,这种人工编制的形式虽然在一定程度上保证了摘要的准确率,但是其低效率却限制了目录式搜索引擎的发展。

要解决以上问题,根本方法是保证自动摘要的准确性。在Web文本挖掘中的文本抽取即是从文档中抽出关键信息,然后以简单的形式对Web文档的信息进行摘要或表示的技术。这种技术是对web文档本身的内容而不是位置来进行文本内容的总结,可以提炼出web页中的重要信息生成文档摘要。此外基于理解的摘要方法以自然语言理解技术为基础,对领域知识进行判断、推理,得到摘要的意义表示,最后根据意义表示生成摘要。相信这些技术的发展能使自动摘要的质量得到很大的提高,使用户更加快速方便地了解检索到的信息。

3.1.3实现检索结果的去重、分类、聚类。随着Inter-nef的发展,网站为人们提供了大量的信息,但由于存在网站之间的相互转载现象,不同的网站包含着大量的重复信息,用户通过搜索引擎检索信息时必然会受到重复信息的干扰。这些重复信息不仅影响用户检索的效率,也会浪费检索系统的存储资源。在文本挖掘的数据预处理的过程中,往往会采用相似度分析技术,尽可能地减少内容相同的文章。而网页比普通文本更为复杂,判断相似度也更加不易,特别是文档的隐性重复,对此挖掘出网页的主要文本语义内容就显得十分必要。

目前,不论是目录式搜索引擎还是关键词搜索引擎,都注重对结果的分类,而对分类目录的浏览查询更是目录式搜索引擎的根本特征。但搜索引擎中的自动分类目前还很不成熟,大部分还是依靠手工完成。手工分类费时费力,因而在网络环境下发展自动分类是不可避免的趋势,数据挖掘便是促进自动分类发展的有力技术。与一般的纯文本不同,Web页面是html的超文本格式,页面中有<tide>、<meta>等标记,以及描述页面的标题、关键字和URL等,这些都包含了重要的分类信息。通过内容挖掘和机器学习技术可以对网络信息进行整理,对文档进行自动分类,从而可提高用户的检索速度和检索的准确度。

丰富的网络信息造就了大量的检索结果,用户要从中快速地找到所需信息也变得十分困难。将数据挖掘的相关技术和结果应用于自动聚类,可提高检索结果的质量。即根据划分方法、层次法、基于统计的方法、基于神经网络的方法和遗传算法等数据挖掘方法,将检索结果中相似性较大的文档

万方数据

聚为一类,而各类之间的关系尽可能小。这样检索结果中与检索需求相关的文档会聚在一起,远离了那些不相关的文档。在此基础上运用数据挖掘的可视化工具将处理后的信息以超链结构组织的层次方式可视化地提供给用户,由用户选择自己感兴趣的那一类信息,可减少所需浏览的页面数量。

3.2网络结构挖掘对检索性能的提升作用

3.2.1权威网页的生成。搜索引擎的任务一是检索出与主题相关的内容,二是识别出具有高质量的相关网页,即权威网页。而后者往往更为重要,因为用户往往没有时间和精力从大量的检索结果中查找最需要的信息,我们需将相关信息尽快呈现给用户。通过web结构挖掘便可以识别出权威网页。

要从海量信息中找到有用信息,分析出权威网页,算法显得尤为重要。目前,最为经典的web结构挖掘算法当属Bfin和Page等人提出的PageRank算法和K16nberg提出的HITS算法,Google的核心算法便是基于Page.Rank算法的。PageRank算法只考虑页面问的超链接,把Web页看成是一个巨大的有向图,利用公式计算每一个网页的PR值,最后按照PR值的大小进行网页排序。Web链接结构具有独特的特征,并非每个超链接都代表我们追求的认同,有时为了商业或竞争利益,一个权威很少让它的网页指向竞争对手的权威网页。这时中心网页就变得十分重要。HITS算法便是利用中心网页与权威网页之间有着相互加强关系的方法进行的一种搜索方法。

虽然上述算法还存在一些缺陷,但是随着算法的改进,用户优先查看与检索主题更相关的页面将成为可能,检索质量也将提高。利用权威网页相似的技术使相关性强的类排在前面,将大大缩短用户浏览时间。而且也可以提高搜索蜘蛛在网上爬行的效率,其搜索策略是沿着超链接优先爬行具有最高PageRank值的网页。从而使其以最短的路径、最少的时间发现最多最新的文档信息。web结构挖掘如能将链接结构和页面内容结合起来考虑,将会得出更为优化的结果集。

3.2.2网络结构挖掘在信息检索中的其他应用。网络结构挖掘的作用除了体现在权威网页的生成上,还可以从Web的组织结构和链接关系中发现其他知识。通过挖掘web的结构信息,可以揭示许多蕴含在web内容之外的隐

含的有用信息,如web页面的U也可以反映页面的类型,

也可以在一定程度上反映页面间在存储位置和内容方面的层次关系及通过分析网页的URL分析这种层次关系。基于上述原理已有人提出了与web页面URL有关的启发式规则,并用于寻找个人主页,或者已经改变了位置的Web页的新位置。因此,利用结构挖掘可以寻找个人主页和相似性网页。另外,web结构挖掘还可以对web页进行分类,预测用户的链接使用及链接属性的可视化,对各个企业搜索引擎索引的web页数量进行统计分析等。它也可以揭示文档结构信息中的有用模式,有助于从多个维度和层面提供检索途

上一页第3页

你可能喜欢

  • 数据挖掘论文
  • 网络数据挖掘
  • 数据挖掘技术
  • 数据搜索引擎
  • 信息挖掘
  • 十大数据挖掘算法
  • 搜索引擎技术
  • 数据挖掘研究

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email