数据挖掘,应用
2010年6月董慧,等:数据挖掘及其在网络信息检索中的应用
155
论文等资料都有一段摘要使读者更快地进行选择,在搜索引擎领域关键词或混合型的搜索引擎往往会在结果中提供每个网页的简单摘要,以减少阅读量,提高信息筛选的速度。目前,对于大部分的检索结果搜索引擎都是机械地抽取网页文档的前几句内容。在百度、G∞gle等中输入任意一个关键词,从检索结果中就可发现它们所采用的自动摘要基本上仅仅是通过位置来确定的。这种方式很不准确,很难真正反映出网页的信息内容,限制了搜索引擎自动摘要的质量。对于目录搜索引擎,它需要人工审核网站提交的关键字和网站描述等资料,这种人工编制的形式虽然在一定程度上保证了摘要的准确率,但是其低效率却限制了目录式搜索引擎的发展。
要解决以上问题,根本方法是保证自动摘要的准确性。在Web文本挖掘中的文本抽取即是从文档中抽出关键信息,然后以简单的形式对Web文档的信息进行摘要或表示的技术。这种技术是对web文档本身的内容而不是位置来进行文本内容的总结,可以提炼出web页中的重要信息生成文档摘要。此外基于理解的摘要方法以自然语言理解技术为基础,对领域知识进行判断、推理,得到摘要的意义表示,最后根据意义表示生成摘要。相信这些技术的发展能使自动摘要的质量得到很大的提高,使用户更加快速方便地了解检索到的信息。
3.1.3实现检索结果的去重、分类、聚类。随着Inter-nef的发展,网站为人们提供了大量的信息,但由于存在网站之间的相互转载现象,不同的网站包含着大量的重复信息,用户通过搜索引擎检索信息时必然会受到重复信息的干扰。这些重复信息不仅影响用户检索的效率,也会浪费检索系统的存储资源。在文本挖掘的数据预处理的过程中,往往会采用相似度分析技术,尽可能地减少内容相同的文章。而网页比普通文本更为复杂,判断相似度也更加不易,特别是文档的隐性重复,对此挖掘出网页的主要文本语义内容就显得十分必要。
目前,不论是目录式搜索引擎还是关键词搜索引擎,都注重对结果的分类,而对分类目录的浏览查询更是目录式搜索引擎的根本特征。但搜索引擎中的自动分类目前还很不成熟,大部分还是依靠手工完成。手工分类费时费力,因而在网络环境下发展自动分类是不可避免的趋势,数据挖掘便是促进自动分类发展的有力技术。与一般的纯文本不同,Web页面是html的超文本格式,页面中有<tide>、<meta>等标记,以及描述页面的标题、关键字和URL等,这些都包含了重要的分类信息。通过内容挖掘和机器学习技术可以对网络信息进行整理,对文档进行自动分类,从而可提高用户的检索速度和检索的准确度。
丰富的网络信息造就了大量的检索结果,用户要从中快速地找到所需信息也变得十分困难。将数据挖掘的相关技术和结果应用于自动聚类,可提高检索结果的质量。即根据划分方法、层次法、基于统计的方法、基于神经网络的方法和遗传算法等数据挖掘方法,将检索结果中相似性较大的文档
万方数据
聚为一类,而各类之间的关系尽可能小。这样检索结果中与检索需求相关的文档会聚在一起,远离了那些不相关的文档。在此基础上运用数据挖掘的可视化工具将处理后的信息以超链结构组织的层次方式可视化地提供给用户,由用户选择自己感兴趣的那一类信息,可减少所需浏览的页面数量。
3.2网络结构挖掘对检索性能的提升作用
3.2.1权威网页的生成。搜索引擎的任务一是检索出与主题相关的内容,二是识别出具有高质量的相关网页,即权威网页。而后者往往更为重要,因为用户往往没有时间和精力从大量的检索结果中查找最需要的信息,我们需将相关信息尽快呈现给用户。通过web结构挖掘便可以识别出权威网页。
要从海量信息中找到有用信息,分析出权威网页,算法显得尤为重要。目前,最为经典的web结构挖掘算法当属Bfin和Page等人提出的PageRank算法和K16nberg提出的HITS算法,Google的核心算法便是基于Page.Rank算法的。PageRank算法只考虑页面问的超链接,把Web页看成是一个巨大的有向图,利用公式计算每一个网页的PR值,最后按照PR值的大小进行网页排序。Web链接结构具有独特的特征,并非每个超链接都代表我们追求的认同,有时为了商业或竞争利益,一个权威很少让它的网页指向竞争对手的权威网页。这时中心网页就变得十分重要。HITS算法便是利用中心网页与权威网页之间有着相互加强关系的方法进行的一种搜索方法。
虽然上述算法还存在一些缺陷,但是随着算法的改进,用户优先查看与检索主题更相关的页面将成为可能,检索质量也将提高。利用权威网页相似的技术使相关性强的类排在前面,将大大缩短用户浏览时间。而且也可以提高搜索蜘蛛在网上爬行的效率,其搜索策略是沿着超链接优先爬行具有最高PageRank值的网页。从而使其以最短的路径、最少的时间发现最多最新的文档信息。web结构挖掘如能将链接结构和页面内容结合起来考虑,将会得出更为优化的结果集。
3.2.2网络结构挖掘在信息检索中的其他应用。网络结构挖掘的作用除了体现在权威网页的生成上,还可以从Web的组织结构和链接关系中发现其他知识。通过挖掘web的结构信息,可以揭示许多蕴含在web内容之外的隐
含的有用信息,如web页面的U也可以反映页面的类型,
也可以在一定程度上反映页面间在存储位置和内容方面的层次关系及通过分析网页的URL分析这种层次关系。基于上述原理已有人提出了与web页面URL有关的启发式规则,并用于寻找个人主页,或者已经改变了位置的Web页的新位置。因此,利用结构挖掘可以寻找个人主页和相似性网页。另外,web结构挖掘还可以对web页进行分类,预测用户的链接使用及链接属性的可视化,对各个企业搜索引擎索引的web页数量进行统计分析等。它也可以揭示文档结构信息中的有用模式,有助于从多个维度和层面提供检索途
数据挖掘及其在网络信息检索中的应用_专业资料。网络信息检索经过近几年的发展,在一定程度上满足了人们查找知识的需要,但是在检全率和检准率上还是不尽如人意。...
数据挖掘在网络信息检索中的应用 暂无评价
数据挖掘技术在互联网金融信息检索中的应用_专业资料。随着互联网应用的普及化,互联网上金融信息量急剧增加,越来越多的用户通过搜索引擎,从互联网的海量信息中获取...
信息检索与数据挖掘_互联网_IT/计算机_专业资料。...? 全世界各种数字化应用:数字图书馆、数字博物 馆...? 多媒体检索中的图像、语音、视频检索更是需要数 ...
关键词:文本挖掘数据挖掘文本挖掘论文文本挖掘资料数据挖掘论文 1/2 相关文档... 关联规则挖掘在网 络信息检索中的 应用Aplcto fMiigAsoito lsi tr nomainRerea ...
Web文本数据挖掘关键技术及其在网络检索中的应用_专业资料。Web挖掘采用数据挖掘信息处理技术,从Web信息资源中发掘用户所需信息。本文在分析Web文本信息特征的基础上...
网络检索中的数据挖掘技术理论与应用_专业资料。网络数据挖掘采用数据挖掘信息处理技术,从网络信息资源中发掘用户所需信息。文章在分析互联网文本信息特征的基础上,...
网络爬虫在Web信息搜索与数据挖掘中应用_工学_高等教育_教育专区。网络爬虫在Web信息搜索与数据挖掘中应用,一篇关web数据挖掘的文章...
关联规则挖掘在网 络信息检索中的 应用Aplcto fMiigAsoito lsi tr nomainRerea ytm piaino nn scainRue nNewokIfrto tivlSse 熊 回香 许颖颖 (中师范大 学信 息管 ...
热门文档