Web文本挖掘系统及其关键技术研究
Web文本挖掘系统及其关键技术研究
钟艳花1,2余伟红3余永权1-(广东工业大学计算机学院,广州510090)z(广东江门教育学院计算机系,广东江门529020)3(广东江门电子技术研究所,广东江门529000)
摘要r嘘tl-网络信息的迅猛发展,信息量日益增加,怎样从海量的Intemet上获取有用信息,WEB文本挖掘系统是挖掘技术的重要应用方向.它是指在路定的分类体系下,根据网页的内客自动判别内容类别的过程,论文对文本中所涉及的关键技术.包括K一最近邻参照法模型、基于隐马尔科夫模型(HMM)的信息抽取、机器学习方法,进行了研究和探讨,并且路出了基于信息抽取的文本挖掘系统的设计实现和下一步的研究重点。关键词
Web文本挖掘K一最近邻参照法
信息抽取隐马尔科走模型(HMM)
中图分类号|IP311.131
文章编号1002—8331一(2003)34--0167—03
文献标识码A
TheKeyTechnicalResearchofTextMiningSystemBased
YuWeihorI矿YuYongquanlZhongYanhuall2
on
Web
1(Dept.ofComputer,GuangdongUniversityofTechnology,Guangzhou510090)‘2(Dept.ofComputer.JiangmenEducationCollege,Jiangmen,Guangdong529020)3(JiangmenResearchInstituteofElectronicTechnology,Jiangmen,Guangdong529000)
Abstract:Withthedevelopmentofnetworktechnology,thespreadofinteractbecome
many
oeeall
moreandmore
quick.There
are
types
ofcomplicateddata
very
intheinformationocean.HowMiningbasedto∞veml
on
on
to
a
acquireuseful
new
knowledgequicklyfrom
eaR
theinfi)rmatinn
isthedifficultTheText
gives
a
Webisresearchfieldwhich
solvetheproblemeffec—
NeJ。ghbur
a
tivelyThisInformation
paper
research
key
techniques
aboutText
Mining,includingK—Nearest
LearningItalso
Model,mining
ExtractionlIE)based
on
HideinMarkov
Model(HMM),Machine
describestext
modelbased
IE,andgivestheresultsmining
Keywords:Text
basod
on
Web.K—NearestNeighbor,InforelationExtraction,HideinMarkOVModel(HMM)
1
引言
在这个信息技术高速发展的时代中,信息的获取、处理和
转为结构严谨、语义明确的表现形式.利用计算机进行高效存储并加以利用。
应用已经成为经济、科学、军事、文化等各个领域发展的关键活动。而其中,信息的获取是三个步骤的开端,在信息技术领域中具有尤其重要的地位。近年来,Interact正以令人难以置信的速度在飞速发展,它容纳了海量的各种类型的原始信息,包括文本信息、声音信息、网像信息等等。据美国基础软件开发商英克托米(inktomi.conl)今年1月18日公布的意向研究结果表明.Interne!网页上可编索引的网页已超过10亿,如果加上大量无法索引的页面,Inlemet网页的总数则更多。所以Web已经发展成为拥有10多亿页面的分布式信息空间。
22.1
论文主要探讨了Web挖掘系统的实现和关键技术,给出
了基于信息抽取技术模型的web文本挖掘系统的结构框架,最后给出了该系统的测试数据和实验结果。
web文本挖掘系统的研究Web文本挖掘的定义
web文本挖掘是一门交叉性学科,涉及数据挖掘、机器学
习、模式识别、人工智能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。
Web文本挖掘是指从大量非结构化、异构的Web文梢的集合D中发现有效的、新颖的潜在可用的及最终可理解的知识K(包括概念(Concepts)、模式(Pattems)、规则(Rule)、规律(Regularities)、约束(Constraints)及可视化(Visualization)等形式)的过程。从数学角度来看,文本挖掘是一个映射的过程,它将未标明类别的文本映射到已有的类别中,该映射可以是一一映射,也可以是一对多的映射.因为通常一篇文本可以同多个类别相关联。用数学公式表示如下:
如何在异质、非结构化的web文本中掌握最有效的信息
是信息处理的一大目标。ForrestResearch的统计资料指出,在Internet和Intranet中80%以上的数据是以非结构化的形式存在,如技术报告、技术文档、Email、专家陈述等。近年米,在自然语言处理领域中一种新兴的技术信息抽取(InformationExtrae—tion,简称IE)技术,适合非结构化数据进行信息挖掘。该技术通过抽取、过滤无关信息,使文本信息以用户关心的形式得以再组织.实现高效重组。将结构松散的自然语言信息,通过抽取
作者筒介:钟艳花(1974~),女,助教,硕士研究生,主要研究方向:计算机软件、神经网络及数据挖掘,余伟红/1970-),男,电子工程师,主要研究方
向:电子线路,计算机软件。余永权(1947一),男,教授,主要研究方向:神经网络、智能控制等。
计算机工程与应用2003.34
167
万方数据
Web文本挖掘技术研究_计算机软件及应用_IT/计算机_专业资料。J ournal of ...决策树分类起源于概念学习系统 , 为了 判断决策树中属性的相对重要性 ,Quinlan ...
喜欢此文档的还喜欢 面向Web的文本信息挖掘技术... 6页 免费 Web文本挖掘中...挖掘系统的开发对其研究也将起到很大推进作用 D 先探讨了 OG 挖掘的有关理论 ...
b文本挖掘 的一 般流程 以及 We本挖掘 b文 b文We b文中 的 关键 技术。 ...决策 树 分类 起 源于 概念 学习 系统 ,了.为 判断决 策 树中 属性 的 ...
基于Web的文本挖掘技术研究_IT/计算机_专业资料。计算机技术与发展 第 17 卷 ...2. 4 文本聚类 3 基于 Web 的文本挖掘模型基于 Web 的文本挖掘系统[ 14 ]...
关键词:暂无同系列文档 WEB内容挖掘技术研究1/2 相关文档推荐 Web文本挖掘技术...要国内外学者在理论上开展更多 的讨 论同时,需 We b挖掘系统的开发对其研究也...
页系统建 设 的迫切 需求 , 然后从体 系架构 、 能模 块、功 关键技术 等方面论述 了基 于We b文本挖掘 的高校教 师个 人主 页系统的设计 与实 现。...
2010 Web 文本挖掘的相关技术问题探讨谢秋华(三明学院, 福建三明,365001)〔摘要...Web 是 一个不断变化的、 动态更新的系统, 上的数据信息也是不 web 断更新...
http://www.paper.edu.cn 面向Web的文本信息挖掘技术研究1 包剑辽宁工程技术大学职业技术学院 计算机系,辽宁阜新(123000) 摘要:WWW 是一个巨大的、分布广泛的、...
本论文的研究内容是面向Web文本挖掘的主题搜索引擎研究与系统设计。重 点讨论了当前流行的Web挖掘以及搜索引擎的核心技术,并且设计和实现主题 Web信息挖掘和搜索原型...
2007 基于 Web 的文本挖掘技术研究许高建1, 2 ( 1. 合肥工业大学 计算机与...系统地介绍了 文本挖掘的含义, 并对文本挖掘过程的各个方面进行了进一步的探讨,...
热门文档