数据挖掘,应用
154
情报杂志第29卷
文档内容进行摘要或解释,用户不需要浏览全文就可以了解文档或文档集合的总体内容。大多数能用于数据库的文档挖掘方法如分类、聚类、关联分析等经过相应的改进处理后均可应用于Web内容挖掘。除此之外,Web文档中的一些标记,in<title>、<heading>等蕴含了一些直接表示信息,可利用这些信息提高w由文本挖掘的质量。
2.1.2搜索结果再挖掘。即对其他信息检索工具的检索结果进行的再次挖掘。网络上数据动态非结构化特征使好,根据不同用户的访问模式,为每个用户提供个性化的服务。用户偏好追踪方法可以采用用户填写信息表的方式,由用户选择填写自己所需要的信息。但是这种方法费时,有些用户担心信息泄露也不愿填写此类信息,所以追踪使用记录显得更适用。通过分析个人的倾向,可以给用户提供不同的信息资源和信息的显示方式,可以从中获取用户的信息需求,从而可对资源进行过滤,提供给用户所需的信息。
3数据挖掘对网络信息检索性能的提升
检索工具的结果需经再次挖掘才能准确得到用户所需的信息。一些系统就通过分析搜索引擎查询的结果,如URL、标题、内容类型、内容长度和超文本链接等信息,提炼出更合适的结果,也有的将搜索结果聚类,然后再将其分类并利用文档可视化将其表示出来。2.2网络结构挖掘
网络结构挖掘即挖掘Web潜在的
链接结构模式,从Web组织结构和链接关系中推导知识。这种思想源于引文分析,大量的web链接信息提供了丰富的关于Web内容的相关质量、结构方面的信息,是Web挖掘的丰富资源,因而可通过分析一个网页链接和被链接数量以及对象来建立Web自身的链接结构模式。比如可以通过web链接结构识别权威网页,主要方法有HITS算法、Google的Page.Rank算法、Propriteary算法等网页排序挖掘算法,其挖掘方式主要表现在以下两个方面:
2.2.1网页引用挖掘。网页中包含了大量的链接关系,几乎所有的Web站点页面之间的联系都是通过超链来.实现的,通过对这些链接关系的分析,可以发现哪些网页被链接次数最多,从而可分析得到哪些网页相对比较重要。这种通过分析页面的链接关系来研究网页的引用关系的超链分析方法是搜索引擎最早使用的。
2.2.2网站结构挖掘。在对网站进行结构分析时,也可以借鉴超链接分析的一些基本思想。站点链接和站内链接的构造方式基本上是一样的。本质上,每个web站点的结构都具有层次性,特别是一些目录式的站点,较易观察其结构。通过数据挖掘以及用户访问模式等分析,可以使网站的架构更加完善,可以改进网站的链接结构及内容呈现的方式,提高使用者浏览的兴趣,吸引更多的人浏览。2.3网络使用挖掘
网络使用挖掘即通过挖掘web日
志记录,发现用户访问Web页面的模式【3J。网络内容挖掘、结构挖掘的对象是网上的原始信息,而使用挖掘的对象是用户与网络交互过程中产生的第二手数据,这些数据包括来自于每个Web服务器和Cookies保留的用户注册信息、访问记录以及有关用户与系统交互的信息等。它包括以下两种方法:
2.3.1一般访问模式追踪。通过追踪分析记录,可以了解用户的访问模式和倾向。利用这些分析,可以清晰地得出Web结构及资源提供者的分组情况。访问模式的获取有助于网站的重构,研究特殊的用户行为等。它针对的是全体用户,服务于网站的建设。
2.3.2个性化的使用记录追踪。分析单一用户的偏
万方数据
面对日益爆炸的信息,尽管传统的搜索引擎和新一代搜索引擎如Google、百度等在一定程度上满足了人们信息检索的需求,但信息检索在很多方面还是不尽如人意。数据挖掘已渗入到了网络领域,它对网络信息检索势必会带来一系列的变革,对其性能也会有所提升。目前网络信息检索主要靠搜索引擎和浏览实现,本文将重点从搜索引擎角度来探讨数据挖掘对网络信息检索不足的弥补。
对于搜索引擎而言,要达到较好的检索效果,需尽可能地达到以下条件【4J:第一,在Internet的网页上一定有用户要查询的内容;第二,该网页的信息一定被用户所用的搜索引擎的索引库收录;第三,用户输入的查询信息包含在索引库收录该网页的描述信息中;第四,用户输入的查询信息能比较精确描述要查询的问题;其中第三、四个条件的解决一直是目前研究的重点。由于同义词和多义词的存在,用户表达差异的存在,索引库很难使信息的描述符合所有用户的表达习惯,信息的标引十分困难。此外,用户也很难精确表达自己的问题,用户更希望能用自然语言检索。因此可通过借鉴网络数据挖掘技术,构建用户兴趣模型,改善检索结果的组织。提高检全率和检准率,从而使得检索效率得到改善。
3.1
网络内容挖掘对检索性能的提升作用
3.1.1提高网络信息的标引准确率。所谓标引,是指通过对文献的分析,选用确切的检索标识用以反映该文献的内容的过程。由于网上信息数量大,范围广,类型复杂,因此人工标引显然无法完成这一艰巨任务,自动标引便显得十分必要,然而目前自动标引的准确率还不够高,从文本中所抽取的关键词不能揭示信息资源所蕴含的语义关系,无法由此挖掘概念之问的内在联系,那些没被文字直接表达出来但隐含在文本内容中的一些重要信息也无法标引。作为信息组织重要的一步,标引的准确与否直接影响查询结果。而对网络信息内容的挖掘,可揭示网络信息的主题特征知识及其之间的相互关联知识,对文档进行语义甚至语用的标注,因此它更能反映出web文档中的真正信息。目前本体技术的发展也能提高语义挖掘的质量。在此基础上改进关键词加权
算法,可搜索出更深层次的信息关联,改善检索效果。
3.1.2提高自动摘要的质量。自动摘要是利用计算机分析文章的结构,找出文章的主题语句,然后经过整合、加工,构成摘要的过程。人工编制摘要复杂、量大且费时,目前对信息量巨大的网络资源进行人工编制摘要很不实际,自动摘要对网络信息资源的处理具有重要的现实意义。
数据挖掘及其在网络信息检索中的应用_专业资料。网络信息检索经过近几年的发展,在一定程度上满足了人们查找知识的需要,但是在检全率和检准率上还是不尽如人意。...
数据挖掘在网络信息检索中的应用 暂无评价
数据挖掘技术在互联网金融信息检索中的应用_专业资料。随着互联网应用的普及化,互联网上金融信息量急剧增加,越来越多的用户通过搜索引擎,从互联网的海量信息中获取...
信息检索与数据挖掘_互联网_IT/计算机_专业资料。...? 全世界各种数字化应用:数字图书馆、数字博物 馆...? 多媒体检索中的图像、语音、视频检索更是需要数 ...
关键词:文本挖掘数据挖掘文本挖掘论文文本挖掘资料数据挖掘论文 1/2 相关文档... 关联规则挖掘在网 络信息检索中的 应用Aplcto fMiigAsoito lsi tr nomainRerea ...
Web文本数据挖掘关键技术及其在网络检索中的应用_专业资料。Web挖掘采用数据挖掘信息处理技术,从Web信息资源中发掘用户所需信息。本文在分析Web文本信息特征的基础上...
网络检索中的数据挖掘技术理论与应用_专业资料。网络数据挖掘采用数据挖掘信息处理技术,从网络信息资源中发掘用户所需信息。文章在分析互联网文本信息特征的基础上,...
网络爬虫在Web信息搜索与数据挖掘中应用_工学_高等教育_教育专区。网络爬虫在Web信息搜索与数据挖掘中应用,一篇关web数据挖掘的文章...
关联规则挖掘在网 络信息检索中的 应用Aplcto fMiigAsoito lsi tr nomainRerea ytm piaino nn scainRue nNewokIfrto tivlSse 熊 回香 许颖颖 (中师范大 学信 息管 ...
热门文档