第31卷 第4期Vol.31 № 4·基金项目论文 ·
计 算 机 工 程Computer Engineering
文章编号:1000—3428(2005)04 —0066—03
文献标识码:A
2005年2月 February 2005
中图分类号:TP391; TP393
面向网上论坛的信息抽取技术
奚伟鹏,李 昕,蒋 凯,武港山
(南京大学计算机软件新技术国家重点实验室,南京大学计算机科学与技术系,南京210093)
摘 要:在分析了网上论坛内部的信息组织模式和链接结构的基础上,提出了一套面向网上论坛的语义话题线索抽取框架,叙述了其具体实现。为信息抽取定义了完善的抽取规则规范,提供了用户定制规则的可视化工具和论坛站点中语义信息单元自动下载抽取的后台引擎。关键词:信息抽取;包装器;网上论坛
Information Extraction Technology for Web Forums
XI Weipeng, LI Xin, JIANG Kai, WU Gangshan
(State Key Laboratory for Novel Software Technology,Nanjing University,
Department of Computer Science and Technology, Nanjing University,Nanjing 210093)
【Abstract】B ased on exhausting investigation for link mode and page format pattern in forum sites, the paper proposes an extraction framework to trawl semantic topic threads from Web forums and describes the detailed system implementation for the extraction system. It defines a specification for information extraction, and provides a visualization tool to help users generate rules together with the background engine, which automatically downloads and extracts semantic information units inside Web forums. 【Key words】I nformation extraction; Wrapper; Web forum
1 概述
随着Internet技术的不断发展,以及WWW用户群爆炸性地增长,网络不再仅仅是信息的被动获取来源,更成为人们探讨问题、交换观点的场所。其中,网上论坛扮演了极其重要的角色。随着时间的推移,论坛站点中积存了丰富的信息资源,不但有各类技术资料和新闻文档,还包含着用户的判断和评论,论坛站点已成为Web信息库的重要组成部分。自网上论坛诞生20多年以来,随着Web技术的发展,已经由原来简单的电子公告板系统发展为功能丰富的网上论坛和虚拟社区模式。对网上论坛的信息检索已经成为Web信息检索的重要组成部分,如著名的搜索引擎站点Google,就在2003年推出了特别针对网上论坛的检索功能。论坛站本身具有如下特性:(1)话题线索信息分散在多个Web页面中,无法获得完整统一的语意单元视图;(2)留言页面可能包含大量与页面主题无关的导航和功能链接以及广告内容;(3)一个页面中可能包含多个留言消息等。这使得传统的Web页面检索、链接引用分析、网页文本分类与聚类等信息处理技术面临着更大的挑战。
基于Web方式的网上论坛站点大都在服务器端使用CGI程序模块,动态生成并返回包含特定信息内容的网页。系统程序使用相同的模板来格式化同一类信息内容,使得不仅相同功能类型页面的展现形式完全相似,并且在页面中存在大量高度结构化的信息。由于必须符合用户的一般浏览习惯,网页内容以及相关页面之间的链接关系带有明显的规律性。这就使得可以使用计算机程序,根据论坛站点中特定的组织结构模式,使用信息抽取技术,自动提取完整的信息语意单元,作为后续信息处理的基础。
现代信息抽取技术源自于文本理解,人工智能研究者一直致力于建造能把握整篇文档精确内容的系统。这些系统通常只在很窄的知识领域范围内运行良好,向其它新领域移植的性能却很差[1]。信息抽取系统(IE)一般采用基于句法和语
义条件相结合的抽取模式,然而,对于像HTML网页这种内容复杂,风格多变的半结构化信息源,基于语言知识的模式很难发挥作用。随着Web作为一个异构信息资源库的重要性日益显现,人们迫切需要能从不同网页资源抽取并整合数据的工具。在这种情况下,从HTML网页中提取有用信息的包装器(Wrapper)研究领域获得了长足的发展。近几年来,许多基于HTML结构分析的包装器被开发出来,如W4F、 XWRAPPER和ROADRUNNER,这些包装器在专门的领域中都取得了良好的应用效果,然而由于网上论坛站点特殊的组织结构和页面格式,这些包装器都不能提供针对网上论坛中信息抽取的完整解决方案[1]。
本文在详细分析网上论坛中页面内容格式和链接模式的基础上,提出了一套完整的针对Web论坛站点的信息抽取框架。使用本框架系统,可以非常方便地从Web论坛中抽取信息资源并整合成具有统一格式的结构化数据,大大减少了用户的工作量,并且不会像手工编写Wrapper程序那样产生编码错误;用户能够方便地对新的论坛站点进行抽取规则的配置,对于旧站点结构模式的变化,也只需对抽取规则进行相应的调整即可。
2 话题线索提取
2.1 话题线索的组织模式
目前基于Web浏览方式的论坛站点大都源自于传统的基于Telnet登录,在控制台窗口下浏览的BBS形式,在内容组织和使用方式上有其相似性。Web论坛系统通常使用CGI

模块接收用户在线发布的消息信息,保存在后台数据库中,并
—66—
面向领域Web信息自动抽取技术研究_互联网_IT/计算机_专业资料。面向领域的 Web 信息自动抽取技术研究 摘要:本文分析了目前 web 数据抽取主流技术,针对领域网站上 ...
面向领域Web信息自动抽取技术研究_互联网_IT/计算机_专业资料。面向领域的 Web 信息自动抽取技术研究 摘要:本文分析了目前 web 数据抽取主流技术,针对领域网站上 ...
面向网上论坛的信息抽取技术〔J〕.计算机工程,2005,(4):66—68.〔4〕LaenderWebData Extraction‰ls〔J〕.S1GMODRecord,2002,(2).on Informationextraction...
( 1. 南京大学 信息管理系, 江苏 南京 210093 2 南京师范大学 教育技术系, ...文献 [ 5] 实现了一个面向网上论坛的信息抽取系统, 采 用了基于 DOM ( ...
面向对象的子实体信息提取技术及其应用_IT/计算机_专业资料。利用ObjectARX提供的面向对象的C++编程环境,分析了AutoCAD的二次开发中实体信息获取及其存在的问题,在...
面向领域的Web信息自动抽取技术研究_互联网_IT/计算机_专业资料。龙源期刊网 ...抽取主流技术,针对领域网站上文本信息采用 MDR 算法 进行抽取,阐述了网页抽取的...
面向中文短信的信息抽取方法_专业资料。在手机3D动画自动生成系统中,研究面向...21年1月 01 1Noee 2 vmbr01 1 NO. 21 CoutrEnierngmpe gnei 软件技术与数据...
技术 指导教师:朱焱 20080501 西南交通大学硕士学位论文 第l页 摘要随着互联网...网络信息检索也可以把Web信息抽取作为它的一部分, 构建面向领域的垂直搜索引擎。...
面向中文短信的信息抽取方法_互联网_IT/计算机_专业资料。中文短信 信息抽取第37 卷第 21 期 Vol.37 No.21 ·软件技术与数据库· 软件技术与数据库· 计算机...
档 Bayes 鉴别器〔J〕. 计算机学报, 2004,27(4):566-572. 〔17〕 奚伟鹏,李昕,蒋凯,武港山. 面向网上论坛的信息抽取技术 〔J〕. 计算 机工程,2005,...
热门文档