覆盖网的QoS
48
福建电脑2007年第7期
基于Web的信息抽取技术现状与发展
柳佳刚1,2,刘高嵩1,贺令亚2,陈
(1.中南大学信息科学与工程学院
湖南长沙
山2
410075湖南建材高等专科学校计算机科学系湖南衡阳421008)2、
摘要】【:Web信息抽取技术已成为一个活跃的研究领域。本文根据信息抽取的原理,对现有的信息抽取技术进行了
分类,结合典型的系统讨论各取技术的特点,还进一步指出了目前以本体为基础的Web信息抽取研究须解决的问题
关键词】【:信息抽取;包装器;Ontology
1.引言
当今社会随着互联网的迅速发展,

互联网上流通的信息也
在爆炸性地增长,并正在成为我们工作和生活中不可或缺的一员。然而,由于WWW是一个虚拟的开放环境,任何人和任何团体都可以在其上发表文章或言论。为帮助互联网用户有效地发布与接受信息,众多的互联网搜索引擎不断出现,向广大用户提供基本的信息检索服务。怎样快速、有效、经济地检索到某个主题的所有相关信息,就成了一个十分热门的课题。Web信息抽取技术就是有效解决如何准确的从Web页面中抽取所需要内容的一项技术。
2.Web信息抽取概述
Web信息抽取就是从Web页面所包含的无结构或半结构的信息中识别用户感兴趣的数据,并将其转化为结构和语义更
关系数据、而向对象的数据等)。为清晰的格式(XML、Web信息抽
包装器是一种软件过程,取工作主要包装器[1](Wrapper)来完成。
这个过程使用已经定义好的信息抽取规则,将网络爬虫搜集到的Web页面的信息数据抽取出来,转换为用特定的格式描述的信息。一个包装器一般针对某一种数据源中的一类页面。包装器运用规则执行程序对实际要抽取的数据源进行抽取。
日期(date)、信息抽取的过程利用一种由事件名称(Event)、
时间(time)、地点(location)等槽(slot)组成的信息模式,对Web页面
整个抽取过程中相应的内容进行匹配,并正确填满各槽的内容。
如图1,其工作过程主要包括了如下几个步骤:
1)将Web网页进行预处理。预处理的目的是将半结构化HTML页面去掉无用的信息(例如广告,Flash),以及对不规则的HTML标识进行修正,为下一步标记信息做准备。
2)用一组信息模式描述所需要抽取的信息。通常可以针对某一领域的信息特征预定义好一系列的信息模式,存放在模式库中供用户选用。
句法及语义分析,通常包括识别3)对文本进行合理的词法、
特定的名词短语和动词短语。这一过程需要使用合适的词典、构词规则库等知识库的支持。
4)使用模式匹配方法识别指定的信息模式的各个部分。5)进行上下文分析和推理,确定信息的最终形式。
6)将结果输出成结构化的描述型式(例如生成XML文档或存放到特定数据模型的数据库当中)以便由网络集成系统进行查询分析。
还没抽取出的正确信fe来分别表示:已抽取出的正确信息个数、
息个数和抽取出的错误信息个数。则可用如下公式计算:
,它们通常存在反比关系,即R增大R和P的值都在〔0,1〕
则会导致P减小,反之亦然。因此在比较不同信息抽取技术时,应该同时考虑R和P,常用的评价指标为F值评价法:
图1应用包装器的抽取模型
信息抽取技术采用召回率也称查全率(Recal,R)、精度也称查准率(Precision,P)来作为评价标准,总精确度(GeneralPreci-
召回sion,GP)用来描述含有多个槽的一个信息源的总体精确度。
率主要测试理解程度,即表示应该得到的信息中,已抽取了多
我们用ce,te和少。精度主要测试抽取的信息中,有用的是多少。
其中参数β决定了对R和P的支持度。通常β值取1,表示对R
和P的支持度相等。这样就能评价R和P值不同的抽取技术的性能了。
3.抽取Web信息的方法
结构化文本、目前Web上的信息主要分为三类:自由文本、
半结构化文本。因此抽取技术也分为三种类型,分别是:(1)从自由格式的文本中抽取出所需要的信息;(2)从半结构化的文本中,抽取出所需要的信息;(3)从结构化的文本中抽取出所需要的信息。对于自由格式的这类文本的抽取模式常常都是基于语法和语义的约束描述,这些约束将帮助确认文档中(待抽取)的相关信息。因此为了利用这些抽取模式,文档都必须事先经过语法分析器和语义标志器的处理。随着Web信息的日益丰富,大量的符合语法和不符合语法的结构和半结构的文本信息资源开始被人们所接受。结构化的文本是指遵循预先定义的具有严格格式的
半结文本,对于这种只需要使用所定义的各式来进行抽取即可。
构化文本是介于非结构化文本和完全结构化文本之间的一种类型,此类文本在风格上常常是不合乎文法的,不遵循任何严格格式。下面分别对现有的一些Web信息抽取系统进行说明。3.1基于特征模式匹配的信息抽取
此类信息抽取技术由L.Marlin等提出,可应用于半结构化的网页信息抽取通过大量学习实例,归纳学习出待抽取信息的语法结构模式,并根据这些模式从待抽取网页中抽取出相匹配的信息,适用于复杂结构信息的抽取。
WHISK是一个自动学习的Web信息抽取系统[2],它能够自动产生从各种格式文本中抽取有关信息所需的相应模式知识。WHISK的信息抽取模式知识主要包括两部分内容:描述相关信
根据文本息的上下文内容,以及描述所需抽取信息的准确边界。
的结构,WHISK利用上述两部分描述构造出相应的信息抽取模式知识。此外WHISK能够产生多槽的抽取模式,但是它不能自动将文档分段而将抽取模式只用于文档中的片断。STALKER系统可以从半结构化的网页内容中抽取具有层次结构的信息内容。STALKER采用EmbeddedCatalogTree来帮助描述文件的组织结构,以及抽取任务的输出模式,同时也帮助指导信息的抽取过程。
3.2基于归纳学习的信息抽取
此类信息抽取技术可以自动分析出待抽取信息在网页中的结构特征并实现信息抽取。该技术首次于1996年由N.Kush-
基于Web的包装器技术的现状与发展_专业资料。Web信息抽取技术已成为当前一个研究热点,信息抽取的主要工作由包装器来完成。根据包装器的原理,对现有的信息抽取技术...
27? 基于 Web 的包装器技术的现状与发展 The State and Development of ...Web 贺令亚 柳佳刚 ( 湖南工学院 衡阳 421008) 【摘要】 Web 信息抽取技术已...
10 现代情报 基于 Web 的信息抽取技术研究综述蒲筱哥 ( 徐州师范大学 , 徐州 221116) 〔 摘要〕 本文在讨论 Web 信息抽取技术的发展历程 、概念及其功能 , ...
信息抽取技术的发展现状及... 8页 1财富值 中文信息抽取关键技术研究... 67页 免费 信息抽取-刘全升 44页 1财富值 基于Web的信息抽取技术现状... 2页 ...
学位论文 第l页 摘要随着互联网的快速发展和普及,人们越来越依赖于网络获取信息...基于Web的信息抽取技术就是研究如何从这些Web源中抽取出用 户感兴趣的信息,并...
基于WEB信息抽取的主动服务技术研究_专业资料。随着互联网的发展和普及,Internet...同时针对农村互联网条件差而手机越来越普及的情况,我们设计实现了一个基于WEB信息...
快速高效地获取网页主题信息的需求使得 Web 信息抽取技 术成为 信息 技术领 ...具有一定的相似性, 于 DOM 树结构和基于模板的 抽取技术发展很快而且基 已经...
基于Web的新闻信息抽取 随着互联网的普及,信息技术的发展,形成了大量的新闻信息资源。从海量的新闻信息中抽取出有用的资源,是当前迫切需要解决的问题。该文在分析...
国外Web信息抽取研究综述... 7页 免费 基于Web的信息抽取技术研... 77页 ... 基于 D M树结构和基于模板的抽取技 术发展很快而且 O已经得 到 了广泛 的...
热门文档